Windowsも構築できる、今回はLinux環境のHadoop構築です。
仮想環境はVMwareまたはAWSで簡単構築できます。
ご利用ください。

１．HOST設定

vim /etc/hosts
サーバネームを追加する
（例）
192.168.1.2 Hadoop1
192.168.1.3 Hadoop2
192.168.1.4 Hadoop3

2.Hadoopのインストールと設定

※管理やすいように、同じネームのディレクトリを作成する。

Hadoop、javaのダウンロード
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
wget http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz

ll（ls）でダウンロードファイルを確認する。
そのあと、下記を実行する。
tar -zxvf hadoop-2.7.1.tar.gz
tar -zxvf jdk-8u101-linux-x64.tar.gz

JAVAの設定

mkdir /usr/java
chown hadoop:hadoop /usr/java/
ll /usr で権限を確認する。
（必ずhadoopで！権限がhadoopではない場合、問題があるかもしれない）

vim /etc/profile
ファイルの設定は下記です。
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

cp -r jdk1.8.0_73 /usr/java/
java -version　
以上、javaの設定が終わる。

hadoopの設定

mkdir /usr/hadoop
cp -r hadoop-2.7.1 /usr/hadoop
chown hadoop:hadoop /usr/hadoop/

ll /usr/
hadoopフォルダの権限を確認する。

cd /usr/hadoop/hadoop-2.7.1/
mkdir tmp //下記core-site.xmlに使用のため

hadoopの設定フォルダは/etc/hadoopです。

Hadoopにjdkを指定する。
hadoop-env.sh、yarn-env.shに下記を追加する。
export JAVA_HOME=/usr/java/jdk1.8.0_73

core-site.xmlの設定
vim etc/hadoop/core-site.xml

<!-- HDFS file path -->

fs.defaultFS
hdfs://192.168.1.2:9000


io.file.buffer.size
131072

hadoop.tmp.dir
file:/usr/hadoop/hadoop-2.7.1/tmp
Abasefor other temporary directories.

hdfs-site.xmlの設定
vim etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address
192.168.1.2:9001

dfs.namenode.name.dir
file:/usr/hadoop/hadoop-2.7.1/dfs/name

dfs.datanode.data.dir
file:/usr/hadoop/hadoop-2.7.1/dfs/data

dfs.replication
1

dfs.webhdfs.enabled
true

※dfs.namenode.name.dirなどは環境によって指定ください。
mkdir dfs
mkdir dfs/name
mkdir dfs/data

・mapred-site.xmlの設定
テンプレートをコピーして作成する。
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml

mapreduce.framework.name
yarn ⇒yarnを指定する（sparkなども設定できる）

　　　　　　　　⇒JOB履歴サーバ
mapreduce.jobhistory.address
192.168.1.2:10020

　　　　　　　　⇒履歴Webサーバ
mapreduce.jobhistory.webapp.address
192.168.1.2:19888

・yarn-site.xmlの設定
vim etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
192.168.1.2:8032


yarn.resourcemanager.scheduler.address
192.168.1.2:8030


yarn.resourcemanager.resource-tracker.address
192.168.1.2:8035


yarn.resourcemanager.admin.address
192.168.1.2:8033


yarn.resourcemanager.webapp.address
192.168.1.2:8088

hadoopの権限設定（重要！）
chown -R hadoop:hadoop /usr/hadoop/hadoop-2.7.1/

bin/hadoop namenode -format
「xxx/name has been successfully formated.」メッセージが出す、
フォーマットが正常終了。

動作確認

HDFS起動！
sbin/start-dfs.sh

下記で状態を確認する。
bin/hadoop dfsadmin -report

またはURLで確認できる！
http://192.168.1.2:50070/dfshealth.html#tab-overview

yarnの起動
sbin/start-yarn.sh
http://192.168.1.2:8080/cluster

Congradulations !
Welcome to send mail to me.
技術交流：[email protected]

-以上-