hadoopノード管理

(hadoopバージョン1.0.3)
hadoopノード追加操作
OS環境が正常にインストールされたことを前提として、次の手順に従います.
第一:マスター本体にある$HADOOP_HOME/confでslavesファイルを修正し、ノードホスト名を追加
第二:ログイン免除設定の設定
第三に、新しいノードはdatanodeとtasktrackerの2つのプロセスを開始します.
          $HADOOP_HOME/bin/hadoop-daemon.sh start datanode
         $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker
第四:masterはすべてのノードをリフレッシュする
         $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes
 
データへいこうさぎょう

[hadoop@master hadoop-1.0.3]# ./bin/start-balancer.sh

1)balanceを使用しない場合、clusterは新しいデータを新しいnodeに格納します.これによりmapredの生産性が低下します.2)バランスしきい値を設定します.デフォルトは10%です.値が低いほど各ノードはバランスしますが、消費時間も長くなります.

[hadoop@master hadoop-1.0.3]# ./bin/start-balancer.sh -threshold 5
hadoop balancer -Threshold 20

   パラメータ20は、比例パラメータであり、20%を表している.つまり、各DataNodeの直接ディスク使用率のばらつきが20%以内である.
3)balanceの帯域幅を設定し、デフォルトは1 M/sのみ

 <property>
 　　<name>dfs.balance.bandwidthPerSec</name>
 　　<value>1048576</value>
 　　<description>
 　　　　Specifies the maximum amount of bandwidth that each datanode
 　　　　can utilize for the balancing purpose in term of
 　　　　the number of bytes per second.
 　　</description>
 </property>

注意:1.slaveのfirewallが閉じていることを確認する必要があります.2.新しいslaveのipがmasterおよび他のslavesの/etc/hostsに追加されていることを確認し、逆にmasterおよび他のslaveのipを新しいslaveの/etc/hostsに追加する
 
関連ノードの削除アクション
1.クラスタ構成conf/hdfs-site.xmlファイルの変更(ノード構成格納パスを除外する必要がある)

 <property>
 　　<name>dfs.hosts.exclude</name>
 　　<value>/home/hadoop/hadoop/conf/excludes</value>
 　　<description>Names a file that contains a list of hosts that are
 　　not permitted to connect to the namenode.  The full pathname of the
 　　file must be specified.  If the value is empty, no hosts are
 　　excluded.</description>
 </property>

 
2.フレームを降ろすマシンdfs.hosts.excludeが定義したファイルの内容は、オフラインが必要なマシンごとに1行1つです.これは彼らがNamenodeに接続することを阻止します.次のようになります.

slave10
slave11

3.強制再ロード構成

[hadoop@master hadoop-1.0.3]# ./bin/hadoop dfsadmin  -refreshNodes

バックグラウンドでBlockブロックの移動を行います
4.ノードを閉じる 先ほどの操作が完了するまで待って、架け降ろしが必要な機器は安全に閉じることができます.

[hadoop@master hadoop-1.0.3]# ./bin/ hadoop dfsadmin -report

現在のクラスタに接続されているノードを表示できます

    Decommission，   ：
Decommission Status : Decommission in progress  

     ，   ：
Decommission Status : Decommissioned

5.再度excludesファイルを編集一旦マシンのダウンフレームが完了すると、それらはexcludesファイルからログインしてダウンフレームするマシンを削除することができ、DataNodeプロセスがなくなったことを発見するが、TaskTrackerは依然として存在し、手作業で処理する必要がある
 
注意:
データ等化操作を少なくする.ここで体験したように,クラスタノードは多くなく,データ総量は2 TB以上で,バランスが非常に長い(開始時間:13:44:12カットオフ時間:16:56:37).
ノードを削除する操作は少なく、ノードのデータ移行処理にも関わるため、非常に時間がかかります.
 
使用中は、この2つの操作に注意してください.本当にビジネスニーズがない限り、これらの操作はできるだけ避けます.