Hadoop 2.5.2クラスタ配置

一、環境
転載は出典:http://eksliang.iteye.com/blog/2223784まで出してください
3台の仮想マシンを用意し、Centos 64-bitオペレーティングシステムをインストールします.

192.168.177.131 mast1.com mast1

192.168.177.132 mast2.com mast2

192.168.177.133 mast3.com mast3

ここで、mast 1はNameNadeノード、mast 2、mast 3はDataNodeノードとして機能する
 
 
二、設置前の準備

インストールjdk

各マシンはhadoopユーザーを新規作成し、ssh公開鍵鍵自動ログイン

を構成する.
この部分の仕事は省略して、ssh公開鍵のパスワードの自動登録の参考を構成します:http://eksliang.iteye.com/blog/2187265
 
三、配置開始
3.1、hadoop 2.5.2のダウンロード
ダウンロードアドレス:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/
 
3.2、hadoop-2.5.2/etc/hadoopの構成
まずmast 1という機械を配置し、配置後、配置環境をmast 2、mast 3の上にコピーすればよい
3.2.1、core-site.xml

<configuration>  
    <property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://mast1:9000</value>  
    </property> 
    
    <property>  
        <name>io.file.buffer.size</name>  
        <value>4096</value>  
    </property>  
</configuration>  

 

   io.file.buffer.size:ファイルの読み書きに使用するキャッシュサイズ

3.2.2、hdfs-site.xml

<configuration>  
    <property>  
        <name>dfs.nameservices</name>  
        <value>ns</value>  
    </property>  

    <property>
	<name>dfs.namenode.http-address</name>
	<value>mast1:50070</value>
    </property>

    <property>  
        <name>dfs.namenode.secondary.http-address</name>  
        <value>mast1:50090</value>  
    </property>  
    
    <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>file:///home/hadoop/workspace/hdfs/name</value>  
    </property>  
    <property>  
        <name>dfs.datanode.data.dir</name>  
        <value>file:///home/hadoop/workspace/hdfs/data</value>  
    </property>  
    <property>  
        <name>dfs.replication</name>  
        <value>2</value>  
    </property> 
  
    <property>  
        <name>dfs.webhdfs.enabled</name>  
        <value>true</value>  
    </property>  
</configuration>

 

 dfs.namenode.secondary.htp-address:SecondaryNameNodeサービスアドレス

dfs.webhdfs.enabled:NNおよびDNでWebHDFS(REST API)機能をオンにする

3.2.3、mapred-site.xml

<configuration>  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
    <property>  
        <name>mapreduce.jobtracker.http.address</name>  
        <value>mast1:50030</value>  
    </property>  
    <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>mast1:10020</value>  
    </property>  
    <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>mast1:19888</value>  
    </property>  
</configuration> 

 

 mapreduce.jobhistory.address:mapreduceの履歴サービスIPCポート

mapreduce.jobhistory.webapp.address:mapreduceの履歴サーバのhttpポート

3.2.4、yarn-site.xml

<configuration>  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property> 
    
     <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>mast1:8030</value>  
    </property>
    
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>mast1:8031</value>  
    </property> 

    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>mast1:8032</value>  
    </property>  
    
    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>mast1:8033</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>mast1:8088</value>  
    </property>  
</configuration> 

 
 
 3.2.5.slaves:DataNodeノードを指定するファイル

mast2
mast3

 
 
3.2.6.JAVAの修正HOME
ファイルhadoop-env.shとyarn-env.shにそれぞれJAVA_を追加HOME構成
 

#export JAVA_HOME=${JAVA_HOME} --   
export JAVA_HOME=/usr/local/java/jdk1.7.0_67 

 コンフィギュレーションのJAVA_HOMEの環境変数ですが、hadoopが起動すると、見つからない、仕方ない、絶対パスを指定します
 
 
3.2.7.hadoopの環境変数を構成し、私の構成を参考する

[hadoop@Mast1 hadoop]$ vim ~/.bash_profile
export HADOOP_HOME="/home/hadoop/hadoop-2.5.2"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

 ヒント:HADOOP_COMMON_LIB_NATIVE_DIR 、HADOOP_OPTSの2つの環境変数は、2.5.0以降に追加する必要があります.そうしないと、クラスタを起動するときに小さなエラーが発生します.
 
 
3.3、構成をmast 2、mast 3にコピーする
ヒント:コピーのプロセスはhadoopユーザーの下でコピーされます.

scp -r ~/.bash_profile hadoop@mast2:/home/hadoop/
scp -r ~/.bash_profile hadoop@mast3:/home/hadoop/
scp -r $HADOOP_HOME/etc/hadoop hadoop@mast2:/home/hadoop/hadoop-2.5.2/etc/
scp -r $HADOOP_HOME/etc/hadoop hadoop@mast3:/home/hadoop/hadoop-2.5.2/etc/

 
 
3.4、フォーマットファイルシステム

bin/hdfs namenode -format

 
 
3.5、起動、停止(hdfsファイルシステム)とyarn(リソースマネージャ)

#  HDFS       
[hadoop@Mast1 hadoop-2.5.2]$ sbin/start-dfs.sh 
#  HDFS       
[hadoop@Mast1 hadoop-2.5.2]$ sbin/stop-dfs.sh 
#  YEAR     
[hadoop@Mast1 hadoop-2.5.2]$ sbin/start-yarn.sh 
#  YEAR     
[hadoop@Mast1 hadoop-2.5.2]$ sbin/stop-yarn.sh 

 
3.6、JPSが起動したかどうかを検証する

#mast1(NameNode)    jps，    NameNode、ResourceManager
[hadoop@Mast1 hadoop-2.5.2]$ jps
3428 NameNode
4057 ResourceManager
4307 Jps

#   mast2  mast3(DataNode)    jps
[hadoop@Mast2 ~]$ jps
2726 DataNode
3154 Jps
3012 NodeManager

 
3.7、ブラウザ検証
http://mast1:50070/  
http://mast1:8088/  http://mast2:50075/  コメント:

hadoop 2.5.2公式ドキュメント、ダウンロードパッケージの~/hadoop-2.5.2hadoop-2.5.2sharedochadoopディレクトリの下に置くとcore.xml、hdfs.xml、mapreduce.xml、year.xmlのすべてのデフォルト構成、および彼の様々な操作

が表示されます.

hadoopのパラメータ中国語が上手なブログ:http://segmentfault.com/a/1190000000709725#articleHeader2