hadoop分散クラスタ構成ノート
2日間かけて、やっとこのhadoopのクラスタ構成ができました.多くのページを参考にして、利益は浅くありません.
SSH無パスワード登録構成
まずsshのパスワードレスログインについてお話しします.
ネット上で言うと、例えばAは秘密裏にBにログインしたいと思っています.
では、Aでssh-keygenコマンドを使用して鍵id_を生成するrsa,id_rsa.pub.そしてid_rsa.pubはBの対応するユーザのホームディレクトリの下にコピーすればよい.
catからauthorized_keysで.
しかし、簡単な上の方法では、ログイン時にBがパスワードの入力を要求し、chmod 644 authorized_を採用することができます.keys .
その後、パスワードを入力する必要があるのを何度か見かけましたが、私の方法は上記の手順を直接繰り返すだけでいいです.
Javaインストール
Javaのインストール、至る所Jdkをダウンロードして、前にダウンロードした接尾辞は.rpm.binはずっとインストールできなくて、最后に公式サイトの上で1つの接尾辞をダウンロードしました.binの自己解凍プログラムをインストールします.
インストール後に/etc/profileファイルを変更する必要があります.私のjavaは爪押し機能が/usr/lib/jvm/java-6-sunフォルダの下にあります.
1つのmaster,3つのslaveを採用した.
ネット上ではhadoopのconfフォルダの下にあるxmlファイルを構成します.
core-site.xml
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun
hdfs-site.xml
mapred-site.xml
/etc/hostsで設定したipは次のようにマッピングされます.
127.0.0.1 localhost 127.0.1.1 ubuntu.ubuntu-domain ubuntu
192.168.0.189 master
192.168.0.104 slave1
192.168.0.135 slave2
192.168.0.149 slave3
(すべてのmasterとslaveではこのような構成です)
したがって、mastersフォルダに次のように書き込みます.
master
slavesフォルダに書き込む:slave 1
slave2
slave3
その後、javaとhadoopのホーム位置を書き込む/etc/profileファイルを構成する必要があります.
JAVA_HOME=/usr/lib/jvm/java-6-sun JRE_HOME=/usr/lib/jvm/java-6-sun/jre CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export JAVA_HOME export JRE_HOME export CLASSPATH export PATH HADOOP_HOME=/root/hadoop(マスターとslavesの上で、私はすべてhadoopをこのフォルダの中にインストールしました)PATH=$HADOOP_HOME/bin:$PATH export HADOOP_HOME export PATH
後ろに上の行を増やしました.
Hadoopクラスタの構成
その後、構成されたhadoopをmasters、slavesマシンの/root/hadoopディレクトリにコピーします.
これで大功を奏したと思っていたが、datanodeがnamenodeに接続されないという問題があった.Datanode、すなわちslaveでDatanodeのログを表示するときのエラーは、2011-10-26 17:57:05231 INFO org.apache.hadoop.ipc.RPC: Server at/192.168.0.189:9000 not available yet, Zzzzz...
2011-10-26 17:57:07,235 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 0 time(s).
2011-10-26 17:57:08,236 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 1 time(s).
2011-10-26 17:57:09,237 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 2 time(s).
2011-10-26 17:57:10,239 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 3 time(s).
2011-10-26 17:57:11,240 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 4 time(s).
2011-10-26 17:57:12,241 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 5 time(s).
つまりdatanodeはnamenodeに接続されません.一方、namenodeには2011-10-26 14:18:49686 INFO orgが表示する.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/root/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_-1928560478, null, null) from 127.0.0.1:32817: error: java.io.IOException: File/root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File/root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)
つまりnamenodeもjobtracker.infoはhdfsファイルシステムに格納され、格納されません.そしてネットで調べてみると、/etc/hostsのipマッピングの問題だった.マスター/etc/hostsの構成は次のとおりです.
127.0.0.1 master 127.0.1.1 ubuntu.ubuntu-domain ubuntu
192.168.0.189 master
192.168.0.104 slave1
192.168.0.135 slave2
192.168.0.149 slave3
したがって、最初の出会いを優先的に一致させる問題があり、その後、最初の2行を注釈する(その後、最初の行を127.0.0.1 localhostに変更する).そして正常なhadoop formatと起動を行うと、接続できます.
最後に、エラーdatanodeが自動的に閉じるという問題も発生する可能性があります.この問題を解決する方法は、masters、slavesのすべてのtmpファイルを削除することです.それからformat、再起動すればいいです.
もう1つのステップは、すべてのマシンのhostnameを変更することですが、必要かどうか分かりません./etc/hostsのipマッピングでは、各名前に対応するipが説明されていますが、各マシンのhostnameはubuntuのままです.コマンドhostnameを使用してhostnameを一時的に変更しました.それぞれ対応するmaster、slave 1、..これらの名前.
SSH無パスワード登録構成
まずsshのパスワードレスログインについてお話しします.
ネット上で言うと、例えばAは秘密裏にBにログインしたいと思っています.
では、Aでssh-keygenコマンドを使用して鍵id_を生成するrsa,id_rsa.pub.そしてid_rsa.pubはBの対応するユーザのホームディレクトリの下にコピーすればよい.
catからauthorized_keysで.
しかし、簡単な上の方法では、ログイン時にBがパスワードの入力を要求し、chmod 644 authorized_を採用することができます.keys .
その後、パスワードを入力する必要があるのを何度か見かけましたが、私の方法は上記の手順を直接繰り返すだけでいいです.
Javaインストール
Javaのインストール、至る所Jdkをダウンロードして、前にダウンロードした接尾辞は.rpm.binはずっとインストールできなくて、最后に公式サイトの上で1つの接尾辞をダウンロードしました.binの自己解凍プログラムをインストールします.
インストール後に/etc/profileファイルを変更する必要があります.私のjavaは爪押し機能が/usr/lib/jvm/java-6-sunフォルダの下にあります.
1つのmaster,3つのslaveを採用した.
ネット上ではhadoopのconfフォルダの下にあるxmlファイルを構成します.
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>
The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.
</description>
</property>
</configuration>hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>The host and port that the MapReduce job tracker runsat.</description>
</property>
</configuration>/etc/hostsで設定したipは次のようにマッピングされます.
127.0.0.1 localhost 127.0.1.1 ubuntu.ubuntu-domain ubuntu
192.168.0.189 master
192.168.0.104 slave1
192.168.0.135 slave2
192.168.0.149 slave3
(すべてのmasterとslaveではこのような構成です)
したがって、mastersフォルダに次のように書き込みます.
master
slavesフォルダに書き込む:slave 1
slave2
slave3
その後、javaとhadoopのホーム位置を書き込む/etc/profileファイルを構成する必要があります.
JAVA_HOME=/usr/lib/jvm/java-6-sun JRE_HOME=/usr/lib/jvm/java-6-sun/jre CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export JAVA_HOME export JRE_HOME export CLASSPATH export PATH HADOOP_HOME=/root/hadoop(マスターとslavesの上で、私はすべてhadoopをこのフォルダの中にインストールしました)PATH=$HADOOP_HOME/bin:$PATH export HADOOP_HOME export PATH
後ろに上の行を増やしました.
Hadoopクラスタの構成
その後、構成されたhadoopをmasters、slavesマシンの/root/hadoopディレクトリにコピーします.
これで大功を奏したと思っていたが、datanodeがnamenodeに接続されないという問題があった.Datanode、すなわちslaveでDatanodeのログを表示するときのエラーは、2011-10-26 17:57:05231 INFO org.apache.hadoop.ipc.RPC: Server at/192.168.0.189:9000 not available yet, Zzzzz...
2011-10-26 17:57:07,235 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 0 time(s).
2011-10-26 17:57:08,236 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 1 time(s).
2011-10-26 17:57:09,237 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 2 time(s).
2011-10-26 17:57:10,239 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 3 time(s).
2011-10-26 17:57:11,240 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 4 time(s).
2011-10-26 17:57:12,241 INFO org.apache.hadoop.ipc.Client: Retrying connect to server:/192.168.0.189:9000. Already tried 5 time(s).
つまりdatanodeはnamenodeに接続されません.一方、namenodeには2011-10-26 14:18:49686 INFO orgが表示する.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/root/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_-1928560478, null, null) from 127.0.0.1:32817: error: java.io.IOException: File/root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File/root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)
つまりnamenodeもjobtracker.infoはhdfsファイルシステムに格納され、格納されません.そしてネットで調べてみると、/etc/hostsのipマッピングの問題だった.マスター/etc/hostsの構成は次のとおりです.
127.0.0.1 master 127.0.1.1 ubuntu.ubuntu-domain ubuntu
192.168.0.189 master
192.168.0.104 slave1
192.168.0.135 slave2
192.168.0.149 slave3
したがって、最初の出会いを優先的に一致させる問題があり、その後、最初の2行を注釈する(その後、最初の行を127.0.0.1 localhostに変更する).そして正常なhadoop formatと起動を行うと、接続できます.
最後に、エラーdatanodeが自動的に閉じるという問題も発生する可能性があります.この問題を解決する方法は、masters、slavesのすべてのtmpファイルを削除することです.それからformat、再起動すればいいです.
もう1つのステップは、すべてのマシンのhostnameを変更することですが、必要かどうか分かりません./etc/hostsのipマッピングでは、各名前に対応するipが説明されていますが、各マシンのhostnameはubuntuのままです.コマンドhostnameを使用してhostnameを一時的に変更しました.それぞれ対応するmaster、slave 1、..これらの名前.