Hadoopシングルノード環境構成

1、環境の構成
1.1、パッケージ
sun jdkまたはopenjdk:1.7
1.2、インストールに必要なパッケージ:
# yum install ssh rsync
# rpm -ivh jdk-7u79-linux-x64.rpm
1.3、java環境の構成
# vim/etc/profile
export JAVA_HOME=/usr/java/latestexport JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
# vim hadoop_home/etc/hadoop/hadoop_env.sh

export JAVA_HOME=/usr/java/latest

export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64

2、シングルノードプロファイル構成
# vim hadoop_home/etc/hadoop/core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

# vim hadoop_home/etc/hadoop/hdfs-site.xml

    
        dfs.replication
        1
    

3、ssh無密上陸を設置する
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# chmod 0600 ~/.ssh/authorized_keys
4、テスト環境
4.1、フォーマットファイルシステム
# hadoop_home/bin/hdfs namenode -format
4.2、NameNodeとDataNodeのサービスを開始する
# hadoop_home/sbin/start-dfs.sh
4.3、NameNodeのwebインタフェースを閲覧する
http://localhost:50070/
4.4、MapReduce作業実行の目次
# hadoop_home/bin/hdfs dfs -mkdir/user
# hadoop_home/bin/hdfs dfs-mkdir/user/ここでMapReduceを実行するシステムユーザー
4.5、コピーinputファイルバックターゲットファイルシステム
# hadoop_home/bin/hdfs dfs -put etc/hadoop input
4.6、運行システム提供のデフォルトdemo
# hadoop_home/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
4.7、ターゲットシステムのoutputファイルをローカルにコピーする
# hadoop_home/bin/hdfs dfs -get output output
4.8、実行結果の表示
# cat hadoop_home/output/*
4.9、ターゲットファイルシステムoutput結果を表示する
# hadoop_home/bin/hdfs dfs -cat output/*
これで、単一ノードhadoop環境が構成され、テストに合格しました.