hadoop 2.2.0擬似分布式のインストール

インストール前に解決した問題：
1、hadoop公式サイトでダウンロードしたhadoopバイナリファイルは32ビット環境でコンパイルされたものです。http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/64ビットのLinuxにインストールする場合は、自分でソースをダウンロードしてコンパイルする必要があります。http://blog.csdn.net/li385805776/article/details/17269497を選択します。直接$HADOOP_にも換えられます。HOME/lib/native/下のlibファイルを置換します。ファイルは添付の通りです
2、インストール完了実行start-dfs.shとstart-yarn.shが発生したらホームnameに接続できない場合、アクセスは拒否されます。HOME/lib/native/下のlibファイル(32 bit->64 bit)
 
インストール:
uuntu 13を使ってvmware 10でインストールします。擬似分布は完全にrootユーザーの下に配置されている。
1、jdkを取り付ける
oracle公式サイトからlinuxバージョンのjdk（1.6以上）をダウンロードし、linuxでインストールディレクトリを解凍し、グローバル環境変数（/etc/profile）を設定することができ、現在のユーザーの環境変数（~）/.bashrc）を設定することもできます。ここに配置されているのは/etc/profileです。構成が完了しました。

source /etc/profile

 設定有効です
 
2、認証不要の設定ssh
（1）セットアップサービス
 

apt-get install openssh-server

 (2）パスワードなしでアクセスする
 
 

ssh-keygen -t  rsa        （    ）

 (3）入る/root/.ssh
 
 

 id_rsa.pub        key    （cat id_rsa.pub >> authorized_keys）

 

   SSH           :service ssh restart（RedHat  sshd       Ubuntu  ssh）

 ssh local hostを使ってyesを入力したらパスワードなしでログインできます。
 
3、hadoop 2.2の取り付け
ダウンロードしたhadoop 2.2.tar.gzを一つのディレクトリに解凍して配置します。HME/etc/hadoop)：
（1）hodoop-env.shを編集し、以下の対応を修正します。

export JAVA_HOME=/usr/lib/jvm/java-6-sun

注：JAVAが正しくインストールされていることを確認してください。もしないなら、関連文書を参照してJAVAのインストールができます。
（2）core-site.xmlを編集し、以下の構成を追加します。
nameノードのipとポートを設定し、完全に分散したインストールであれば、localhostを実際のipに変更する必要があります。

<property>
 		<name>fs.default.name</name>
 		<value>hdfs://localhost:9000</value>
	</property>

 (3）hdfs-site.xmlを編集し、以下の構成を追加します。
nameノードとdataノードのデータ格納位置を設定し、dfs.replicationはデータバックアップ数を表します。

 <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/hadoopDir/hadoop4namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/hadoopDir/hadoop4datanode</value>
  </property>

 
 （4）yarn-site.xmlを編集し、以下の構成を追加します。

<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>

 
 （5）mapred-site.xmlを編集し、以下の構成を追加します。

<property>
    <name>mapreduce.cluster.temp.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

  <property>
    <name>mapreduce.cluster.local.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

 （6）フォーマットnoamenode
 

bin/hadoop namenode -format

 （7）hadoopの環境をシステム環境変数に追加する
 
 

vim /etc/profile

  ：
export HADOOP_HOME=/root/hadoopDir/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 

 （8）hadoopデーモンプロセスを起動します。以下のコマンドを順次実行します。
 
 

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver

 (9）以下のコマンドを実行すると、各サービスの状態を確認できます。
 
 

http://localhost:50070  http://ipaddr:5007
http://localhost:8088
http://localhost:19888

 4、hadoopプロセスの起動が成功したら、wodcountを使ってテストする。
 
(1)新しいファイルを作成します。

vi /root/test.txt
hello world
hello hadoop

 (2）hafsフォルダを新規作成します。

 hdfs dfs -mkdir /input

 (3）作成したtest.txtを/inputに入れます。

 hdfs dfs -copyFromLocal /root/* /input

 (4）jarを実行する

 hadoop jar /root/hadoopDir/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /input/out

 注意:/inputの中には必ずファイルがフォルダではなく、outは自分で作成できません。