Hadoopスタンドアロンモードインストール

Hadoopプロセスを実行するユーザグループhadoopおよびユーザhadoopを追加する必要があります。

1.ユーザー及びユーザーグループの追加

ユーザーhadoopの作成

$ sudo adduser hadoop

shiyanlouのパスワード:shiyanlouを入力する必要があります.プロンプトに従ってhadoopユーザーのパスワードを入力します.

2.sudo権限の追加

hadoopユーザーをsudoユーザーグループに追加

$ sudo usermod -G sudo hadoop

四、インストール及び構成に依存するパッケージ

1.Openssh-server、java、rsyncなどをインストールする

$ sudo apt-get update
$ sudo apt-get install openssh-server rsync
$ sudo service ssh restart
$ sudo apt-get install openjdk-7-jdk
$ java -version

2.sshパスワードなしログインの構成

hadoopユーザーに切り替えるには、hadoopユーザーを追加するときに構成するパスワードを入力する必要があります.次の手順はhadoopユーザーの環境で実行されます.

$ su -l hadoop

ssh環境のパスワードなしログインを構成します.

$ ssh-keygen -t rsa -P ""

/home/hadoop/.sshディレクトリの下でid_が生成されましたrsa(秘密鍵)とid_rsa.pub(バスの2つのファイル)は、公開鍵をauthorized_に追加します.keysでは、現在のユーザとしてsshクライアントユーザにログインできるすべての公開鍵コンテンツが保存されます.

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ログイン本体にパスワードが必要かどうかを確認し、正しく設定すればパスワードなしでログインできます.

$ ssh localhost

五、Hadoopをダウンロードしてインストールする

hadoopユーザーがログインしている環境では、次の操作を行います.

1.Hadoop 2.6.0をダウンロード

$ wget http://mirrors.aliyun.com/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2.解凍してインストールする

$ tar zxvf hadoop-2.6.0.tar.gz
$ sudo mv hadoop-2.6.0 /usr/local/hadoop
$ sudo chmod 774 /usr/local/hadoop

3.Hadoopの設定

$ vim /home/hadoop/.bashrc

/home/hadoop/.bashrcファイルの最後に次の内容を追加します.

#HADOOP START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP END

保存終了後、新しく追加した環境変数をアクティブにします.

$ source ~/.bashrc

これでHadoopスタンドアロンモードのインストールが完了し、以下の手順のテストでインストールが成功したかどうかを確認できます.

六、テスト検証

入力したデータを作成し、テストとして/etc/protocolsファイルを一時的に使用します.

$ cd /usr/local/hadoop
$ sudo mkdir input
$ sudo cp /etc/protocols ./input

Hadoop WordCountアプリケーションの実行(ワード周波数統計)

$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output

生成された単語統計の表示

$ cat output/*