VirtualBox+Centos6.4 Hadoop 1を構築する.1.2分散環境

擬似分散環境構築http://mvplee.iteye.com/blog/2212629
 
VirutalBoxで作成した擬似分散環境をコピーし、ホスト名をhadoop 1、hadoop 2、hadoop 3に変更します.
 
各ホストのホスト名をhadoop 1、hadoop 2、hadoop 3に変更

/etc/sysconfig/network
/etc/hosts
reboot

hadoop 1ホストのプロファイルの変更

core-site.xml
mapred-site.xml

各ホストのsshの構成

[root@hadoop03 local]# ssh-keygen -t rsa
[root@hadoop03 local]# cd /root/.ssh
[root@hadoop03 .ssh]# cat id_rsa.pub >>authorized_keys

hadoop 2、hadoop 3で自分の公開鍵をhadoop 1にコピーし、hadoop 1、hadoop 2はパスワードなしでhadoop 1にログインできます

[root@hadoop2 .ssh]# ssh-copy-id id hadoop0
[root@hadoop03 .ssh]# ssh-copy-id -i hadoop1
[root@hadoop1 .ssh]# more authorized_keys

hadoop 1のauthoried_をコピーkeysからhadoop 2、hadoop 3に、3台のホスト上のauthorized_keysの内容は同じようにパスワードでログインできます

[root@hadoop1 .ssh]# scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/
[root@hadoop1 .ssh]# scp /root/.ssh/authorized_keys hadoop3:/root/.ssh/                    

hadoop 1上のhadoopパッケージのlogs、tmpディレクトリを削除

[root@hadoop1 hadoop-1.1.2]# rm -rf logs
[root@hadoop1 hadoop-1.1.2]# rm -rf tmp

JDKディレクトリとhadoopディレクトリをhadoop 1、hadoop 2にコピー

[root@hadoop1 local]# scp -r /usr/local/jdk1.6.0_24 hadoop2:/usr/local/jdk1.6.0_24
[root@hadoop1 local]# scp -r /usr/local/jdk1.6.0_24 hadoop3:/usr/local/jdk1.6.0_24
[root@hadoop1 local]# scp -r /usr/local/hadoop-1.1.2 hadoop2:/usr/local/hadoop-1.1.2
[root@hadoop1 local]# scp -r /usr/local/hadoop-1.1.2 hadoop3:/usr/local/hadoop-1.1.2

hadoop 1でprofileをhadoop 2、hadoop 3にコピーし、リソースファイルを再ロード

[root@hadoop1 local]# scp /etc/profile hadoop2:/etc/
[root@hadoop1 local]# scp /etc/profile hadoop3:/etc/

[root@hadoop2 local]# source /etc/profile
[root@hadoop3 local]# source /etc/profile

hadoopプライマリスレーブノードを構成し、hadoop 1ホスト上のslavesファイルにhadoop 2、hadoop 3をスレーブノードとして追加します.mastersにはSecondarNameノードが格納されています.

[root@hadoop1 local]# more hadoop-1.1.2/conf/slaves
#localhost
hadoop2
hadoop3

hadoop 1でnamenode形式でhadoopを起動

[root@hadoop1 local]# hadoop namenode -format

[root@hadoop1 local]# jps
5740 JobTracker
5659 SecondaryNameNode
5492 NameNode
5839 Jps

[root@hadoop2 local]# jps
3473 TaskTracker
3568 Jps
3365 DataNode

[root@hadoop3 local]# jps
2233 TaskTracker
2310 Jps
2142 DataNode

ブラウザを使用したログインhttp://192.168.56.21:50070/
分散構築完了