centos擬似分布モードでhadoopを配置する
4996 ワード
HADOOP 0.23.10構成インストールマニュアル
一、環境準備
VM VMware® Workstation 7.1.2
JDK jdk-7u45-linux-x64.rpm
hadoop-0.23.10.tar.gz
二、centos 3.2-64ビット仮想マシンのインストール
三、JDKのインストール
1.インストールパッケージjdk-7 u 45-linux-x 64をコピーする.rpmから/usrディレクトリの下
2.コマンドchmod 777 jdk-7 u 4-linux-x 64で.rpmファイル権限を変更し、ダブルクリックすると自動的に解凍してインストールされ、インストールが完了したら、/usrディレクトリの下に新しいjavaフォルダが生成されます.
3.環境変数を設定し、JAVA_を構成するHOME、 CLASSPATH
viファイルを開くコマンド:vi/etc/.bash_profile
JAVA_HOME=/usr/java/jdk1.7.0_04
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
4.構成が完了し、実行する. .bash_profile
バージョンの表示:java-version、実行結果は以下の通りで、jdkのインストールに成功しました.
java version "1.7.0_04"
Java(TM) SE Runtime Environment (build 1.7.0_04-b20)
Java HotSpot(TM) 64-Bit Server VM (build 23.0-b21, mixed mode)
四、hadoop 0をインストールする.23.10
公式サイトからhadoop-0.23.10をダウンロードします.tar.gzは/home/hdmanagerディレクトリの下に置く
解凍
/home/hdmanager$ tar xzf hadoop-0.23.10.tar.gz
名前を変更するのは、便宜上だけです.
/home/hdmanager$ mv hadoop-0.23.10 hadoop
Hadoop環境変数の編集を設定します.bash_profile
export HADOOP_DEV_HOME=$HOME/hadoop
export HADOOP_MAPRED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
PATH=$JAVA_HOME/bin:$PATH: HADOOP_DEV_HOME/bin: HADOOP_DEV_HOME/sbin
次のコマンドを入力して、Hadoopが実行されているかどうかを判断します.
/home/hdmanager/hadoop$ bin/hadoop version Hadoop 0.20.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707Compiled by chrisdo on Fri Feb 1908:07:34 UTC 2010
まずhadoopディレクトリの下にいくつかのフォルダを新規作成します
/home/hdmanager:~/hadoop$ mkdir tmp/home/hdmanager:~/hadoop$ mkdir hdfs/home/hdmanager:~/hadoop$ mkdir hdfs/name/home/hdmanager:~/hadoop$ mkdir hdfs/data
core-site.xml:HDFSやMapReduceでよく使われるI/O設定など、Hadoop Coreの構成項目.
hdfs-site.xml:Hadoopデーモンの構成項目で、namenode、アシストnamenode、datanodeなどが含まれます.
mapred-site.xml:jobtrackerとtasktrackerを含むMapReduceデーモンの構成項目.
etc/hadoop/ディレクトリで、次のファイルを編集します.
/home/hdmanager/hadoop$ vi core-site.xml
fs.default.name hdfs://localhost:9000 hadoop.tmp.dir /home/hdmanager/hadoop/tmp
/home/hdmanager/hadoop $ vi hdfs-site.xml
dfs.replication 1 dfs.name.dir /home/hdmanager/hadoop/hdfs/name dfs.data.dir /home/hdmanage/hadoop/hdfs/data
/home/hdmanager/hadoop $ vi mapred-site.xml
mapred.job.tracker localhost:9001
SSHの設定
Hadoopクラスタをインストールする場合は、プライマリノードとしてサーバを指定する必要があります.このサーバには通常、NameNodeとJobTrackerのデーモンプロセスが存在します.また、基地局として、ノード上のすべてのDataNodeおよびTaskTrackerデーモンに連絡してアクティブにします.したがって、クラスタ内の各ノードにリモートでアクセスできるように、プライマリノードをカスタマイズする手段が必要です.このため,HadoopはパスワードレスSSHプロトコルを用いた.SSHは標準的な公開鍵暗号化を用いて、一対のユーザ検証鍵――一つの公開鍵、一つの秘密鍵を生成する.公開鍵はクラスタの各ノードにローカルに格納され、秘密鍵はプライマリノードがリモートノードにアクセスしようとすると送信される.この2つの情報を組み合わせると、ターゲットマシンは今回のログイン試行を検証することができます.
sshサービスをインストールするかどうかを判断するには、次のコマンドを使用します.
/home/hdmanager:~$ ssh localhost
ssh: connect to host localhost port22: Connection refused
以上のように、まだインストールされていないことを示し、aptでインストールできます.コマンドは以下の通りです.
/home/hdmanager:~$ sudo apt-get install openssh-server
システムは自動的にインストールされ、インストールが完了したら、まずサービスを開始します.
/home/hdmanager:~$ sudo/etc/init.d/ssh start Rather than invoking init scripts through/etc/init.d, use the service(8) utility, e.g. service ssh start Since the script you are attempting to invoke has been converted to an Upstart job, you may also use the start(8) utility, e.g. start ssh
起動後、次のコマンドでサービスが正しく起動されているかどうかを確認できます.
/home/hdmanager:~$ ps -e|grep ssh 1168 ? 00:00:00 ssh-agent 6524 ? 00:00:00 sshd
以上、起動OKを示します.sshのデフォルトのポートは22です.
コマンドの入力
/home/hdmanager:~$ ssh localhost
実行後にパスワードを入力し、以下の処理を行う必要があります.
/home/hdmanager:~$ ssh-keygen -t rsa -P'' -f ~/.ssh/id_rsa/home/hdmanager:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
コマンドの再入力
/home/hdmanager:~$ ssh localhost
パスワードを入力する必要はありません.
1回目の実行
まず、dfsレイアウトシステムをフォーマットする必要があります.
/home/hdmanager:~/hadoop$ bin/hadoop namenode -format
(再フォーマットが必要な場合は、(Y/N)プロンプトが表示されたら、大文字のYを入力してください)
start-dfsを使用します.shスクリプトによるデーモンのロード
/home/hdmanager:~/hadoop$ bin/start-dfs.sh
Javaのjpsコマンドですべてのデーモンをリストしてインストール成功を検証
/home/hdmanager:~/hadoop$ jps
次のようなリストに会います
7741 Jps
7700 SecondaryNameNode
7562 DataNode
一、環境準備
VM VMware® Workstation 7.1.2
JDK jdk-7u45-linux-x64.rpm
hadoop-0.23.10.tar.gz
二、centos 3.2-64ビット仮想マシンのインストール
三、JDKのインストール
1.インストールパッケージjdk-7 u 45-linux-x 64をコピーする.rpmから/usrディレクトリの下
2.コマンドchmod 777 jdk-7 u 4-linux-x 64で.rpmファイル権限を変更し、ダブルクリックすると自動的に解凍してインストールされ、インストールが完了したら、/usrディレクトリの下に新しいjavaフォルダが生成されます.
3.環境変数を設定し、JAVA_を構成するHOME、 CLASSPATH
viファイルを開くコマンド:vi/etc/.bash_profile
JAVA_HOME=/usr/java/jdk1.7.0_04
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
4.構成が完了し、実行する. .bash_profile
バージョンの表示:java-version、実行結果は以下の通りで、jdkのインストールに成功しました.
java version "1.7.0_04"
Java(TM) SE Runtime Environment (build 1.7.0_04-b20)
Java HotSpot(TM) 64-Bit Server VM (build 23.0-b21, mixed mode)
四、hadoop 0をインストールする.23.10
公式サイトからhadoop-0.23.10をダウンロードします.tar.gzは/home/hdmanagerディレクトリの下に置く
解凍
/home/hdmanager$ tar xzf hadoop-0.23.10.tar.gz
名前を変更するのは、便宜上だけです.
/home/hdmanager$ mv hadoop-0.23.10 hadoop
Hadoop環境変数の編集を設定します.bash_profile
export HADOOP_DEV_HOME=$HOME/hadoop
export HADOOP_MAPRED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
PATH=$JAVA_HOME/bin:$PATH: HADOOP_DEV_HOME/bin: HADOOP_DEV_HOME/sbin
次のコマンドを入力して、Hadoopが実行されているかどうかを判断します.
/home/hdmanager/hadoop$ bin/hadoop version Hadoop 0.20.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707Compiled by chrisdo on Fri Feb 1908:07:34 UTC 2010
まずhadoopディレクトリの下にいくつかのフォルダを新規作成します
/home/hdmanager:~/hadoop$ mkdir tmp/home/hdmanager:~/hadoop$ mkdir hdfs/home/hdmanager:~/hadoop$ mkdir hdfs/name/home/hdmanager:~/hadoop$ mkdir hdfs/data
core-site.xml:HDFSやMapReduceでよく使われるI/O設定など、Hadoop Coreの構成項目.
hdfs-site.xml:Hadoopデーモンの構成項目で、namenode、アシストnamenode、datanodeなどが含まれます.
mapred-site.xml:jobtrackerとtasktrackerを含むMapReduceデーモンの構成項目.
etc/hadoop/ディレクトリで、次のファイルを編集します.
core-site.xml，hdfs-site.xml，mapred-site.xml/home/hdmanager/hadoop$ vi core-site.xml
fs.default.name hdfs://localhost:9000 hadoop.tmp.dir /home/hdmanager/hadoop/tmp
/home/hdmanager/hadoop $ vi hdfs-site.xml
dfs.replication 1 dfs.name.dir /home/hdmanager/hadoop/hdfs/name dfs.data.dir /home/hdmanage/hadoop/hdfs/data
/home/hdmanager/hadoop $ vi mapred-site.xml
mapred.job.tracker localhost:9001
SSHの設定
Hadoopクラスタをインストールする場合は、プライマリノードとしてサーバを指定する必要があります.このサーバには通常、NameNodeとJobTrackerのデーモンプロセスが存在します.また、基地局として、ノード上のすべてのDataNodeおよびTaskTrackerデーモンに連絡してアクティブにします.したがって、クラスタ内の各ノードにリモートでアクセスできるように、プライマリノードをカスタマイズする手段が必要です.このため,HadoopはパスワードレスSSHプロトコルを用いた.SSHは標準的な公開鍵暗号化を用いて、一対のユーザ検証鍵――一つの公開鍵、一つの秘密鍵を生成する.公開鍵はクラスタの各ノードにローカルに格納され、秘密鍵はプライマリノードがリモートノードにアクセスしようとすると送信される.この2つの情報を組み合わせると、ターゲットマシンは今回のログイン試行を検証することができます.
sshサービスをインストールするかどうかを判断するには、次のコマンドを使用します.
/home/hdmanager:~$ ssh localhost
ssh: connect to host localhost port22: Connection refused
以上のように、まだインストールされていないことを示し、aptでインストールできます.コマンドは以下の通りです.
/home/hdmanager:~$ sudo apt-get install openssh-server
システムは自動的にインストールされ、インストールが完了したら、まずサービスを開始します.
/home/hdmanager:~$ sudo/etc/init.d/ssh start Rather than invoking init scripts through/etc/init.d, use the service(8) utility, e.g. service ssh start Since the script you are attempting to invoke has been converted to an Upstart job, you may also use the start(8) utility, e.g. start ssh
起動後、次のコマンドでサービスが正しく起動されているかどうかを確認できます.
/home/hdmanager:~$ ps -e|grep ssh 1168 ? 00:00:00 ssh-agent 6524 ? 00:00:00 sshd
以上、起動OKを示します.sshのデフォルトのポートは22です.
コマンドの入力
/home/hdmanager:~$ ssh localhost
実行後にパスワードを入力し、以下の処理を行う必要があります.
/home/hdmanager:~$ ssh-keygen -t rsa -P'' -f ~/.ssh/id_rsa/home/hdmanager:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
コマンドの再入力
/home/hdmanager:~$ ssh localhost
パスワードを入力する必要はありません.
1回目の実行
まず、dfsレイアウトシステムをフォーマットする必要があります.
/home/hdmanager:~/hadoop$ bin/hadoop namenode -format
(再フォーマットが必要な場合は、(Y/N)プロンプトが表示されたら、大文字のYを入力してください)
start-dfsを使用します.shスクリプトによるデーモンのロード
/home/hdmanager:~/hadoop$ bin/start-dfs.sh
Javaのjpsコマンドですべてのデーモンをリストしてインストール成功を検証
/home/hdmanager:~/hadoop$ jps
次のようなリストに会います
7741 Jps
7700 SecondaryNameNode
7562 DataNode