hadoop完全分散構築

1.ファイアウォールを閉じる
Serviceiptables statusファイアウォールのステータスの表示
Serviceiptables stopファイアウォールを閉じる
Serviceiptables startファイアウォールを開く
chkconfig iptables offファイアウォールを永久に閉じる
2.ネットワークを開く(外部ネットワーク接続)
　　ping www.baidu.comテスト
　　vim/etc/sysconfig/network
3.ホスト名の変更
　　vim/etc/sysconfig/network
5.ipとホスト名のマッピングの構成
　　vim/etc/hosts
例:192.168.118.101 hadoop 101
　　192.168.118.102 hadoop102
　　192.168.118.103 hadoop103
6.新規ユーザーの作成(ユーザー名はhadoopに設定)
useraddユーザー名(hadoop)
7.パスワードの変更
　　passwd hadoop
8.rootユーザーの下でhadoopユーザーに権限を設定する
　　vim/etc/sudoers
9.hadoopユーザーへの切り替え
　　su hadoop
10.hadoop(~)ユーザーの下でフォルダソフトウェアを作成する
　　mkdir software
11.jdkのインストール
元のjdk yum remove*openjdk*をアンインストール
Windowsからjdk圧縮パッケージをlinuxにアップロード
jdk圧縮パッケージの解凍
tar-zxvf jdk圧縮パッケージ名
ソフトリンクの作成
ln-s jdk解凍後名ソフト接続名
12.環境変数の構成
　　vim ~/.bash_profile
　　export JAVA_HOME=jdkパス
　　export PATH=$PATH:$JAVA_HOME/bin
13.jdkを他の2台の仮想マシンにそれぞれ転送
scp-r jdkパスhadoop 102:/home/hadoop/software
環境変数ファイルを別の2台の仮想マシンに送信
　　scp -r ~/.bash_profile hadoop102:/home/hadoop/.bash_profile
14.環境変数の即時有効化
　　source ~/.bash_profile
15.hadoopをアップロードする
ソフトリンクの作成環境変数の解凍
　　export HADOOP_HOME=パス
　　export PATH=$PATH:$HADOOP_HOME/bin
　　export PATH=$PATH:$HADOOP_HOME/sbin
16.プロファイル
　　cd/home/hadoop/software/hadoop/etc/hadoop
　　vim core-site.xml

<configuration>
    <property>
        
        <name>fs.defaultFSname>
        <value>hdfs://hadoop101:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/home/hadoop/software/hadoop/data/tmpvalue>
    property>
configuration> 

 
　　vim hdfs-site.xml

<property>
    
    <name>dfs.replicationname>
    <value>3value>
property>

<property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>hadoop103:50090value>
property>
configuration>

 
　　vim yarn-site.xml

<configuration>

<property>
    
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
property>
<property>
    
    <name>yarn.resourcemanager.hostnamename>
    <value>hadoop102value>
property>
configuration>

　　vim mapred-site.xml

<configuration>

<property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
property>
configuration>

 
ステップ2:JAVA_を修正するHOME
　　vim hadoop-env.sh
　　vim mapred-env.sh
　　vim yarn-env.sh
17.配布
hadoop 101上のhadoopをhadoop 102 hadoop 103マシンに配信する
scp-rパスhadoop 102:/home/hadoop/software/
ソフト接続の作成
　　ln -s hadoop-2.7.3/hadoop
リモート配信環境変数ファイル~/.bash_profile
　　scp ~/.bash_profile hadoop102:/home/hadoop/
即時発効:source~/.bash_profile
 
18.フォーマット
初めて使うときは必ずフォーマットしてください
　　 hadoop namenode –format
注意:再フォーマットで3台のマシンのdata logsをすべて削除する必要がある場合
起動:単一起動namenode
　　hadoop-daemon.sh start namenode
hadoop 101 hadoop 102 hadoop 103でdatanodeを起動
　　hadoop-daemon.sh start datanode
secondarynamenodeの起動
　　hadoop-daemon.sh start secondarynamenode
hadoop 102でresourcemanagerを起動
　　yarn-daemon.sh start resourcemanager
Hadoop 101 102 103 nodemanagerを起動
　　yarn-daemon.sh start nodemanager
19.ssh構成
群起完全分布式:Sshの無密上陸
ソフトリンクの作成環境変数の解凍
　　export HADOOP_HOME=パス
Hadoop 101 hadoop 102 hadoop 103 3台マシン
 
公開鍵の秘密鍵ペアを生成します.
ssh-keygen -t rsa
ssh-keygen -t rsa
ssh-keygen -t rsa
3つのリターン
[hadoop@hadoop101 .ssh]$ ll
 
公開鍵を他のマシンにコピーするには、次の手順に従います.
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103
 
Hadoop 102 hadoop 3マシンで同じ操作を実行...
 
authorized_keys
承認リスト
id_rsa
秘密鍵
id_rsa.pub
公開鍵
known_hosts
記録はsshアクセスの記録です
slavaesファイルの構成
vim slaves