hadoop動的追加削除ノード

回転元:http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html
ノードの追加
1.hostを変更するのは普通のdatanodeと同じです.namenodeのipを追加
2.namenodeのプロファイルconf/slavesを変更して新規ノードのipまたはhostを追加
3.新しいノードのマシンで、サービスを開始する

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker  

 
4.等化ブロック

[root@slave-004 hadoop]# ./bin/start-balancer.sh

1)balanceを使用しない場合、clusterは新しいデータを新しいnodeに格納します.これによりmapredの生産性が低下します.2)バランスしきい値を設定します.デフォルトは10%です.値が低いほど各ノードはバランスしますが、消費時間も長くなります.

[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5

3)balanceの帯域幅を設定し、デフォルトは1 M/sのみ

1 <property>
2 　　<name>dfs.balance.bandwidthPerSec</name>  
3 　　<value>1048576</value>  
4 　　<description>  
5 　　　　Specifies the maximum amount of bandwidth that each datanode   
6 　　　　can utilize for the balancing purpose in term of   
7 　　　　the number of bytes per second.   
8 　　</description> 
9 </property>

注意:1.slaveのfirewallが閉じていることを確認する必要があります.2.新しいslaveのipがmasterおよび他のslavesの/etc/hostsに追加されていることを確認し、逆にmasterおよび他のslaveのipを新しいslaveの/etc/hostsに追加する
 
 
ノードの削除
 
1.クラスタ構成変更conf/hdfs-site.xmlファイル

1 <property>  
2 　　<name>dfs.hosts.exclude</name>  
3 　　<value>/data/soft/hadoop/conf/excludes</value>  
4 　　<description>Names a file that contains a list of hosts that are   
5 　　not permitted to connect to the namenode.  The full pathname of the   
6 　　file must be specified.  If the value is empty, no hosts are   
7 　　excluded.</description>
8 </property>

2架ける機械dfsを確定する.hosts.Excludeで定義されたファイルの内容は、オフラインが必要なマシンごとに1行1つです.これは彼らがNamenodeに接続することを阻止します.次のようになります.

slave-003  
slave-004  

 
3.強制再ロード構成

[root@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes  

バックグラウンドでBlockブロックの移動を行います
4.シャットダウンノードは、先ほどの操作が終了するまで待機した後、架台を降りる必要がある機器を安全にシャットダウンすることができます.

[root@master hadoop]# ./bin/ hadoop dfsadmin -report  

 
現在のクラスタに接続されているノードを表示できます

    Decommission，   ： 
Decommission Status : Decommission in progress  

     ，   ： 
Decommission Status : Decommissioned  

 
5.再度excludesファイルを編集一旦マシンのダウンフレームが完了すると、それらはexcludesファイルからログインしてダウンフレームするマシンを削除することができ、DataNodeプロセスがなくなったことを発見するが、TaskTrackerは依然として存在し、手作業で処理する必要がある