CentOS hadoop分散クラスタの構築

擬似分布式から分布式まで、2つのプロファイル(slaves、masters)しか差がないこと.
クラスタ内のすべてのノードは、互いにパスワードなしでログイン(An−1 n対の関係)が実現され、ノードはhadoop(各ノードの擬似分布式が構築され、擬似分布式の構築はCentOS hadoop擬似分布式インストール手順を参照)とjdk、および環境変数の設定が構成されている.環境設定が完了すると、クラスタの構築と導入が開始されます.

(1)マスタースレーブノードの決定、すなわち分散クラスタ構造の決定(実際の動作に実行されるのは、実はマスターノードのプロファイル/conf/...)

.

(2)プライマリノードのhadoopのプロファイル、すなわち/conf/slavesファイル(スレーブノードの設定)を変更し、secondarynamenodeを他のノードに設定したい場合は、/conf/masters設定(secondarynamenodeに設定するホストのホスト名をmastersファイルに追加)します.

(3)この時点で分散構造が構築済みであり、フォーマット(初期化)が可能となり、

が起動する.

hadoop namenode -format
start-all.sh #              #   start-all.sh   ， #             `/hadoop/bin/` ，    `start-all.sh`

出力情報に基づいてhadoopクラスタの起動順序を知ることができます.

(1)hadoop 0などのプライマリノードで起動し、namenodeし、/usr/local/hadoop 0/logs/に関連ログ情報を記入する.最終的にhadoopはそのルートディレクトリの下にlogsフォルダ(ない場合)を作成し、hadoop-root-jobtracker-hadoop 0というプロファイルに新規作成して起動情報(成功するかどうか)を記入する.log hadoop-root-jobtracker-hadoop0.out hadoop-root-namenode-hadoop0.out hadoop-root-namenode-hadoop0.log hadoop-root-secondarynamenode-hadoop0.log hadoop-root-secondarynamenode-hadoop0.out

(2)各スレーブノード(例えばhadoop 1、hadoop 2)においてそれぞれのdatanodeが前後して起動する、自然スレーブノードの下のログ情報は両面(datanode、TaskTracker):hadoop-root-datanode-hadoop 1についてである.log hadoop-root-datanode-hadoop1.out hadoop-root-tasktracker-hadoop1.log hadoop-root-tasktracker-hadoop1.out

(3)メインノードでsecondarynamenode,JobTracker

を起動

(4)各スレーブノードにおいてそれぞれTaskTracker

が前後して起動する.
stop-allを使用します.shクローズの順序は主に:
stopping jobtracker(hadoop 0,メインノード)hadoop 1:stopping tasktracker hadoop 2:stopping tasktracker stopping namenode(hadoop 0,メインノード)hadoop 2:stopping datanode hadoop 1:stopping datanode localhost:stopping secondarynamenode(hadoop 0,メインノード)