hadoop完全分散構築
10728 ワード
1.ファイアウォールを閉じる
Serviceiptables statusファイアウォールのステータスの表示
Serviceiptables stopファイアウォールを閉じる
Serviceiptables startファイアウォールを開く
chkconfig iptables offファイアウォールを永久に閉じる
2.ネットワークを開く(外部ネットワーク接続)
ping www.baidu.comテスト
vim/etc/sysconfig/network
3.ホスト名の変更
vim/etc/sysconfig/network
5.ipとホスト名のマッピングの構成
vim/etc/hosts
例:192.168.118.101 hadoop 101
192.168.118.102 hadoop102
192.168.118.103 hadoop103
6.新規ユーザーの作成(ユーザー名はhadoopに設定)
useraddユーザー名(hadoop)
7.パスワードの変更
passwd hadoop
8.rootユーザーの下でhadoopユーザーに権限を設定する
vim/etc/sudoers
9.hadoopユーザーへの切り替え
su hadoop
10.hadoop(~)ユーザーの下でフォルダソフトウェアを作成する
mkdir software
11.jdkのインストール
元のjdk yum remove*openjdk*をアンインストール
Windowsからjdk圧縮パッケージをlinuxにアップロード
jdk圧縮パッケージの解凍
tar-zxvf jdk圧縮パッケージ名
ソフトリンクの作成
ln-s jdk解凍後名ソフト接続名
12.環境変数の構成
vim ~/.bash_profile
export JAVA_HOME=jdkパス
export PATH=$PATH:$JAVA_HOME/bin
13.jdkを他の2台の仮想マシンにそれぞれ転送
scp-r jdkパスhadoop 102:/home/hadoop/software
環境変数ファイルを別の2台の仮想マシンに送信
scp -r ~/.bash_profile hadoop102:/home/hadoop/.bash_profile
14.環境変数の即時有効化
source ~/.bash_profile
15.hadoopをアップロードする
ソフトリンクの作成環境変数の解凍
export HADOOP_HOME=パス
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
16.プロファイル
cd/home/hadoop/software/hadoop/etc/hadoop
vim core-site.xml
vim hdfs-site.xml
vim yarn-site.xml
vim mapred-site.xml
ステップ2:JAVA_を修正するHOME
vim hadoop-env.sh
vim mapred-env.sh
vim yarn-env.sh
17.配布
hadoop 101上のhadoopをhadoop 102 hadoop 103マシンに配信する
scp-rパスhadoop 102:/home/hadoop/software/
ソフト接続の作成
ln -s hadoop-2.7.3/hadoop
リモート配信環境変数ファイル~/.bash_profile
scp ~/.bash_profile hadoop102:/home/hadoop/
即時発効:source~/.bash_profile
18.フォーマット
初めて使うときは必ずフォーマットしてください
hadoop namenode –format
注意:再フォーマットで3台のマシンのdata logsをすべて削除する必要がある場合
起動:単一起動namenode
hadoop-daemon.sh start namenode
hadoop 101 hadoop 102 hadoop 103でdatanodeを起動
hadoop-daemon.sh start datanode
secondarynamenodeの起動
hadoop-daemon.sh start secondarynamenode
hadoop 102でresourcemanagerを起動
yarn-daemon.sh start resourcemanager
Hadoop 101 102 103 nodemanagerを起動
yarn-daemon.sh start nodemanager
19.ssh構成
群起完全分布式:Sshの無密上陸
ソフトリンクの作成環境変数の解凍
export HADOOP_HOME=パス
Hadoop 101 hadoop 102 hadoop 103 3台マシン
公開鍵の秘密鍵ペアを生成します.
ssh-keygen -t rsa
ssh-keygen -t rsa
ssh-keygen -t rsa
3つのリターン
[hadoop@hadoop101 .ssh]$ ll
公開鍵を他のマシンにコピーするには、次の手順に従います.
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103
Hadoop 102 hadoop 3マシンで同じ操作を実行...
authorized_keys
承認リスト
id_rsa
秘密鍵
id_rsa.pub
公開鍵
known_hosts
記録はsshアクセスの記録です
slavaesファイルの構成
vim slaves
Serviceiptables statusファイアウォールのステータスの表示
Serviceiptables stopファイアウォールを閉じる
Serviceiptables startファイアウォールを開く
chkconfig iptables offファイアウォールを永久に閉じる
2.ネットワークを開く(外部ネットワーク接続)
ping www.baidu.comテスト
vim/etc/sysconfig/network
3.ホスト名の変更
vim/etc/sysconfig/network
5.ipとホスト名のマッピングの構成
vim/etc/hosts
例:192.168.118.101 hadoop 101
192.168.118.102 hadoop102
192.168.118.103 hadoop103
6.新規ユーザーの作成(ユーザー名はhadoopに設定)
useraddユーザー名(hadoop)
7.パスワードの変更
passwd hadoop
8.rootユーザーの下でhadoopユーザーに権限を設定する
vim/etc/sudoers
9.hadoopユーザーへの切り替え
su hadoop
10.hadoop(~)ユーザーの下でフォルダソフトウェアを作成する
mkdir software
11.jdkのインストール
元のjdk yum remove*openjdk*をアンインストール
Windowsからjdk圧縮パッケージをlinuxにアップロード
jdk圧縮パッケージの解凍
tar-zxvf jdk圧縮パッケージ名
ソフトリンクの作成
ln-s jdk解凍後名ソフト接続名
12.環境変数の構成
vim ~/.bash_profile
export JAVA_HOME=jdkパス
export PATH=$PATH:$JAVA_HOME/bin
13.jdkを他の2台の仮想マシンにそれぞれ転送
scp-r jdkパスhadoop 102:/home/hadoop/software
環境変数ファイルを別の2台の仮想マシンに送信
scp -r ~/.bash_profile hadoop102:/home/hadoop/.bash_profile
14.環境変数の即時有効化
source ~/.bash_profile
15.hadoopをアップロードする
ソフトリンクの作成環境変数の解凍
export HADOOP_HOME=パス
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
16.プロファイル
cd/home/hadoop/software/hadoop/etc/hadoop
vim core-site.xml
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://hadoop101:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/home/hadoop/software/hadoop/data/tmpvalue>
property>
configuration> vim hdfs-site.xml
<property>
<name>dfs.replicationname>
<value>3value>
property>
<property>
<name>dfs.namenode.secondary.http-addressname>
<value>hadoop103:50090value>
property>
configuration>vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>hadoop102value>
property>
configuration>vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>ステップ2:JAVA_を修正するHOME
vim hadoop-env.sh
vim mapred-env.sh
vim yarn-env.sh
17.配布
hadoop 101上のhadoopをhadoop 102 hadoop 103マシンに配信する
scp-rパスhadoop 102:/home/hadoop/software/
ソフト接続の作成
ln -s hadoop-2.7.3/hadoop
リモート配信環境変数ファイル~/.bash_profile
scp ~/.bash_profile hadoop102:/home/hadoop/
即時発効:source~/.bash_profile
18.フォーマット
初めて使うときは必ずフォーマットしてください
hadoop namenode –format
注意:再フォーマットで3台のマシンのdata logsをすべて削除する必要がある場合
起動:単一起動namenode
hadoop-daemon.sh start namenode
hadoop 101 hadoop 102 hadoop 103でdatanodeを起動
hadoop-daemon.sh start datanode
secondarynamenodeの起動
hadoop-daemon.sh start secondarynamenode
hadoop 102でresourcemanagerを起動
yarn-daemon.sh start resourcemanager
Hadoop 101 102 103 nodemanagerを起動
yarn-daemon.sh start nodemanager
19.ssh構成
群起完全分布式:Sshの無密上陸
ソフトリンクの作成環境変数の解凍
export HADOOP_HOME=パス
Hadoop 101 hadoop 102 hadoop 103 3台マシン
公開鍵の秘密鍵ペアを生成します.
ssh-keygen -t rsa
ssh-keygen -t rsa
ssh-keygen -t rsa
3つのリターン
[hadoop@hadoop101 .ssh]$ ll
公開鍵を他のマシンにコピーするには、次の手順に従います.
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103
Hadoop 102 hadoop 3マシンで同じ操作を実行...
authorized_keys
承認リスト
id_rsa
秘密鍵
id_rsa.pub
公開鍵
known_hosts
記録はsshアクセスの記録です
slavaesファイルの構成
vim slaves