LinuxでのHadoopクラスタインストール構成

一、jdkのインストール（jdk 1.8.0_144）

既存のjdk(1)javaソフトウェアをインストールするかどうかを問い合わせる:

rpm -qa|grep java

(2)インストールされたバージョンが1.7未満の場合、jdkをアンインストールします.

rpm -e      

/optディレクトリの下に2つのサブファイルを作成する

mkdir /opt/module /opt/software

jdkを/opt/moduleディレクトリの下に解凍する

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

jdk環境変数vi/etc/profileの構成

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

構成された環境変数を有効にする:source /etc/profilejdkのインストールをテストしました

java -version
java version "1.8.0_144"

二、SSH無パスワード登録

公開鍵と秘密鍵を生成する:ssh-keygen -t rsaそれからノック(3つのリターン)すると、2つのファイルidが生成される.rsa(秘密鍵)、id_rsa.pub(公開鍵)秘密登録を免除するターゲットマシンに公開鍵をコピーする

ssh-copy-id    1
ssh-copy-id    2
ssh-copy-id    3

注:他の2台の機械でそれぞれ実行し、計9回実行する.sshフォルダ下のファイル機能解釈(1)~/.ssh/known_hosts:sshがコンピュータにアクセスした公開鍵(public key)(2)id_を記録するrsa:生成された秘密鍵(3)id_rsa.pub:生成された公開鍵(4)authorized_keys:秘密のログインサーバの公開鍵を保存する権限がありません

三、クラスタの構成

1)クラスタ配置計画:
bigdata111
bigdata112
bigdata113
HDFS
NameNodeSecondaryNameNodeDataNode
DataNode
DataNode
YARN
ResourceManagerNodeManager
NodeManager
NodeManager
2)プロファイル:
ファイル
コンフィギュレーション
core-site.xml
        fs.defaultFS hdfs://ホスト名1:9000 hadoop.tmp.dir         /opt/module/hadoop-2.X.X/data/tmpv/value>
hdfs-site.xml
        dfs.replication         3         dfs.namenode.secondary.http-addressホスト名1:50090 dfs.permissions         false
yarn-site.xml
        yarn.nodemanager.aux-services         mapreduce_shuffle         yarn.resourcemanager.ホスト名1 yarn.log-aggregation-enable         true         yarn.log-aggregation.retain-seconds         604800
mapred-site.xml
        mapreduce.framework.name         yarn         mapreduce.jobhistory.addressホスト名1:10020 mapreduce.jobhistory.webapp.addressホスト名1:19888
hadoop-env.sh、yarn-env.sh、mapred-env.sh(これらのファイルにそれぞれ以下のパスを追加)export JAVA_HOME=/opt/module/jdk1.8.0_144(注:自分でインストールしたパス)
slaves
bigdata 111、bigdata 112、bigdata 113(自分で設定したホスト名)

四:Namenodeのフォーマット

hdfs namenode -format

五、クラスタを起動するコマンド

Namenodeのプライマリノード:sbin/start-dfs.sh Yarnのプライマリノード:sbin/stop-yarn.sh

  ：Namenode ResourceManger         ，   NameNode    yarn，   ResouceManager        yarn。

六、scpファイル転送

2台のリモートマシン間のファイル転送を実現(bigdata 112ホストファイルをbigdata 113ホストにコピー)scp-r[ファイル]ユーザ@ホスト名:絶対パス

 ：       、       

七、完全分布式

手順:1)2台のクライアントをクローンする(ファイアウォール、静的ip、ホスト名を閉じる)2)jdk 3をインストールする)環境変数を構成する4)hadoop 5をインストールする)環境変数を構成する6)ssh 7をインストールする)クラスタを構成する8)テストクラスタを起動する

 ：                    

八、Hadoop起動と停止命令：

以下のコマンドは$HADOOP_です.HOME/sbinでは、直接使用する場合は、環境変数の構成を覚えておいてください.
履歴サーバーの起動/停止
mr-jobhistory-daemon.sh start|stop historyserver
総エクスプローラの起動/停止
yarn-daemon.sh start|stop resourcemanager
ノードマネージャの起動/停止
yarn-daemon.sh start|stop nodemanager
NNとDNの起動/停止
start|stop-dfs.sh
RNとNMの起動/停止
start|stop-yarn.sh
NN、DN、RN、NMの起動/停止
start|stop-all.sh
NNの起動/停止
hadoop-daemon.sh start|stop namenode
起動/停止DN
hadoop-daemon.sh start|stop datanode