Hhadoop環境展開

5918 ワード

環境説明は以下の通りです。192.168.26 SN 2015-02-96192.168.297 SN 2015-02-97192.168.28 SN 2015-02-98インストール1、jdk環境をインストールします。

vim jdk-install.sh
#!/bin/sh
pwd
mkdir /data
cd /data
wget http://xxx/jdk-7u55-linux-x64.rpm
rpm -ivh jdk-7u55-linux-x64.rpm
cat >> /etc/profile.d/development.sh <<EOF
export JAVA_HOME=/usr/java/jdk1.7.0_55
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
EOF
sh jdk-install.sh
source /etc/profile.d/development.sh

2,Hadoopをインストールして、バージョンは1.2.1 cd/datawgetです。http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gztar zxvf hadoop-1.2.tar.gzcd hadoop-1.2.1/conf修正confディレクトリの4つのHadoopコアプロファイルhadoop-env.sh、coree-site.xml、hdfs-site.xml、mapred-site.xml、具体的な内容は以下の通りです。hadoop環境変数配置ファイル、JAVA_を指定します。ホーム？ム
===================================================================================================================HOME=/usr/java/jdk 1.7.0_55
====================================================================core-site.xml、hadoop coreの構成項目は、主にCommonコンポーネントの属性構成についてです。デフォルトのhadoop.tmp.dirのパスは/tmp/hadoop-、{user.name}ですので、筆者のLinuxシステムの/tmpファイルシステムのタイプはHadoopではサポートされていません。異常を報告します。だから、手動でhadoop.tmp.dirの指向/data/tmp/hadoop/hadoop-を修正します。
============================================================================================================

<configuration>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/data/tmp/hadoop-${user.name}</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.2.96:9000</value> //master  ip:9000  
</property>
</configuration>

<configuration>
<property>
 <name>dfs.name.dir</name>
 <value>/data/hdfs/name</value>  //Namenode        、      
</property><property>
 <name>dfs.data.dir</name>
 <value>/data/hdfs/data</value>  //Datanode      
</property>
<property>
 <name>dfs.datanode.max.xcievers</name>
 <value>4096</value>           //Datanode                 ，   256
</property>
<property>
 <name>dfs.replication</name>
 <value>2</value>           //       ，   3
</property>
</configuration>

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.2.96:9001</value>
</property>
</configuration>

==========================================================================================================================================================================================設定内容は以下の通りです。192.168.2.96 salvesでは、すべてのslaaveホスト情報を配置し、IPアドレスを記入すればいいです。この例でslaaveの情報は以下の通りである。192.168.2.91.168.2.98に続いて、マスタノードからjdk及びHadoop環境をすべてのslaaveにコピーし、ターゲットパスはマスターと一致している。以下のコマンドを実行してコピーします。

# scp -r /usr/java/jdk1.7.0_55 192.168.2.97:/usr/java/
# scp -r /usr/java/jdk1.7.0_55 192.168.2.98:/usr/java/
# scp -r /data/tools/hadoop-1.2.1 192.168.2.97:/data/tools/
# scp -r /data/tools/hadoop-1.2.1 192.168.2.98:/data/tools/

Hadoopの一部の機能はホスト名来を通じてアドレスを探すので、ホスト名hosts情報（生産環境の提案は直接にイントラネットDNSサービスを構築する）を配置する必要があります。Hadoop環境のすべてのホストコンピュータを保証する/etc/hostsファイルの構成は以下の通りです。192.168.27 SN 2015-02-97192.168.2.98はデバイスiptablesを有効にしました。メインノードMasterとSlaveホストに制限を追加する必要があります。
============================================================================================================

Master:
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50030 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50070 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 9000 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 9001 -j ACCEPT
Slaves:
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50075 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50060 -j ACCEPT
-I INPUT -s 192.168.2.96 -p tcp --dport 50010 -j ACCEPT

========================================================================================================================================================================================================実行：萼bin/hadoop jar hadoop-examples-12.jar pi 10 100は、以下のような結果を返したら、構成が成功したと説明します。

Number of Maps  = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
15/03/13 09:10:21 INFO mapred.FileInputFormat: Total input paths to process : 10
15/03/13 09:10:22 INFO mapred.JobClient: Running job: job_201503130851_0001
15/03/13 09:10:23 INFO mapred.JobClient:  map 0% reduce 0%
15/03/13 09:10:37 INFO mapred.JobClient:  map 20% reduce 0%
15/03/13 09:10:38 INFO mapred.JobClient:  map 40% reduce 0%
15/03/13 09:10:45 INFO mapred.JobClient:  map 60% reduce 0%
15/03/13 09:10:48 INFO mapred.JobClient:  map 80% reduce 0%
15/03/13 09:10:52 INFO mapred.JobClient:  map 100% reduce 0%
15/03/13 09:10:58 INFO mapred.JobClient:  map 100% reduce 26%
15/03/13 09:11:00 INFO mapred.JobClient:  map 100% reduce 100%

Hadoopが提供する管理ページにアクセスし、Map/Reduce管理アドレス：http://192.168.2.96:50030/を選択します

HFS記憶管理アドレス：http://192.168.2.96:50070 ，下図のように

@Validチェックネストオブジェクト

springboot+spring-security+ajax+前後端分離解決Authorzation要求ヘッドクロスドメイン問題