VMWareによるHadoopクラスタの構築

背景:Flinkの勉強に関わるので、本機にテスト環境を設置したいです.ここではVMWareでhadoopクラスタを構築するピットを記録する.

VMwareのインストール

再インストールの場合は、VMwareをできるだけクリーンアップしてからインストールしてください.そうしないと、VMwareが正常に使用できない場合があります.

OSのインストール

ここではisoファイルで直接インストールします.参照:https://blog.csdn.net/u010780613/article/details/65439856

JDKのインストール

http-serverを介してjdkインストールパッケージを/root/apps/フォルダの下にアップロードし、インストールパッケージを解凍します:

wget http://192.168.XXX.X:8080/jdk.tar.gz
tar -zxvf /root/apps/jdk-8u181-linux-x64.tar.gz

環境変数、vim/etc/profileを構成し、ファイル行の最後に構成を追加した後、保存終了:

export JAVA_HOME=/root/apps/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

profileを再ロードして構成を有効にする

source /etc/profile

環境変数の構成が完了し、

環境変数が有効かどうかをテストします.

echo $JAVA_HOME 
java -version   Java        

Hadoopのインストール

http-serverを介してjdkインストールパッケージを/root/apps/フォルダの下にアップロードし、インストールパッケージを解凍します:

wget http://192.168.XXX.X:8080/hadoop.tar.gz
tar -zxvf /root/apps/hadoop.tar.gz

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoopの環境変数構成参照:https://blog.csdn.net/weixin_29218537/article/details/83154843

Linux構成

マスターノード

を構成する.

$vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1

$source /etc/sysconfig/network

修正/etc/hosts

192.168.70.130　　node1
192.168.70.131　　node2
192.168.70.132　　node3

仮想マシン構成鍵

以下のコマンドは、自分の公開鍵と秘密鍵を生成する、生成された公開鍵は自動的に/root/に格納される.sshディレクトリの下.

$ ssh-keygen

生成した公開鍵copyをリモートマシンに接続すると、リモートホストの/root/.ssh/authorized_keysファイルに公開鍵が保存されていますknown_hostsには既知のホスト情報が保存されており、再アクセス時にパスワードを入力する必要はありません.

ssh-copy-id [email protected]

このコマンドを使用して、パスワードなしで接続できるかどうかを確認します.
$ ssh 192.168.70.130

VMWare仮想マシン="管理="別の2つのマシン

をクローン化

メインノードマシン/root/apps/hadoop-2.7.3/sbinディレクトリで、namenodeをフォーマットするには、次のコマンドを実行します:

./hadoop namenode -format

Hadoopを起動し、/root/apps/hadoop-2.7.3/sbinディレクトリでサービスを開始した後、Webページ入力192.168.70.130:5070を開くとhadoopクラスタファイル管理インタフェースが表示されます:

start-all.sh

hadoopを閉じ、/root/apps/hadoop-2.7.3/sbinディレクトリで次のコマンドを実行してサービスを閉じます:

$stop-all.sh

以上,Hadoopクラスタを構築してまとめた.