1.環境説明

この例では、hadoop 2.6.0の単一ノードへの分散インストール方法について説明します.
Hadoopをインストールする前に、あなたのマシンにJDK 1.7以降がインストールされていることを確認し、SSHのパスワードなしでログインするように構成してください.SSH無パスワード登録がまだ設定されていない場合は、次のような長いコマンドで解決できます.
   rm -rf ~/.ssh;ssh-keygen -t rsa;chmod 700 ~/.ssh;more ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys;chmod 600 ~/.ssh/authorized_keys
セッションプロンプトが表示されたら、[Enter]キーを押します.

2.Hadoopインストール

2.1ダウンロード

みんな開けてhttp://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gzダウンロード

2.2インストール

この手順は比較的簡単で、ダウンロードしたソースファイルを解凍して個人指定のインストールディレクトリに入れればよい(この例のHadoopインストールディレクトリは/opt/hadoop-2.6.0).次に、次の環境変数を設定します.

#hadoop
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

2.3プロファイル

本例では$HADOOP_HOMEはHadoopのインストールディレクトリを指します.
$HADOOP_へHOME/etc/hadoopディレクトリは、それぞれ次のプロファイルを編集します.

2.3.1 core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

属性fs.defaultFSは、「hdfs://ホスト名(またはip):ポート番号」からなるNameNodeノードアドレスを表します.

2.3.2 hdfs-stie.xml

  
    dfs.replication
    1
  
  
    dfs.namenode.name.dir
    file:///home/jack/hadoopdata/hdfs/namenode
  
  
    dfs.datanode.data.dir
    file:///home/jack/hadoopdata/hdfs/datanode
  

属性「dfs.replication」はHDFSファイルのコピー数を表し、デフォルトは3で、単一ノードで1に変更しましょう.スペースを無駄にしないようにしましょう.

プロパティ「dfs.namenode.name.dir」は、NameNodeがネーミングスペースと操作ログに関するメタデータ情報を格納するローカルファイルシステムディレクトリを表し、このデフォルトのローカルパスは/tmp/hadoop-{username}/dfs/nameである.

属性"dfs.datanode.data.dir"は、HDFSファイルを格納するDataNodeノードを表すローカルファイルシステムディレクトリであり、"file://ローカルディレクトリ"からなり、このデフォルトローカルパスは"/tmp/hadoop-{username}/dfs/data"である.

2.3.3 mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

属性"mapreduce.framework.name"はmapreduceタスクを実行するために使用される実行フレームワークを表し、デフォルトはlocalであり、「yarn」

に変更する必要がある.

2.3.4 yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

属性"yarn.nodemanager.aux-service"はMRアプリケーションtonsが使用するshuffleツールクラス

を表す

3.HDFSのフォーマット

hdfs namenode -format

4.クラスタの起動

start-all.sh又はstart-dfs.sh、start-yarn.sh
上記の操作がすべて正しい場合は、「jps」コマンドを使用して、ResourceManager、NodeManager、NameNode、SecondaryNameNode、DataNodeの5つのJavaプロセスが含まれているかどうかを確認します.以下を参照してください.
[jack@localhost hadoop]$ jps 4384 NodeManager 4252 ResourceManager 3877 DataNode 3741 NameNode 4079 SecondaryNameNode

5.ジョブ履歴サーバの起動

Hadoop 2のJobヒストリサーバ(JobHistory)を使用すると、実行済みのMapが何個使用されたか、Reduceが何個使用されたか、ジョブの発行時間、ジョブの開始時間、ページの完了時間などの情報を表示できます.デフォルトでは、HadoopのJob履歴サーバは起動していません.次のコマンドでHadoop履歴サーバを起動できます.
sbin/mr-jobhistory-daemon.sh start historyserver
起動後、jpsコマンドで次のことがわかります.
1370 JobHistoryServer
ネットは生活を変えて、南充コミュニティ、
www.ngsq.net