Hadoop Ubuntuでのインストール

これは自分のノートの上の実験のバージョンで、熟知していない情況はやはり先に自分のコンピュータの上で1つの試験のバージョンをインストールすることを考慮して、それから
本番環境に導入されたマシンのインストールを検討します.まず、自分のパソコンに仮想マシンVMWare WorkStationをインストールし、インストールする必要があります.
その後、この仮想マシンにUbutunオペレーティングシステムをインストールします.ここにはUbutun 11.10がインストールされています.lsb_release-aコマンド
このコマンドがなければ、sudo apt-get install lsbを次のコマンドでインストールできます.
    1.このオペレーティングシステムに新しいアカウントhadoopを作成します.

tinyfun@ubuntu:/home$ sudo addgroup hadoop

Adding group `hadoop' (GID 1001) ...

Done.

次にhadoopユーザーを追加します:sudo adduser-ingroup hadoop hadoop後sudo gedit/etc/sudoersコマンド
sudoersファイルにhadoop ALL=(ALL:ALL)ALLを追加してhadoopユーザーroot権限を与えます.マシンのデフォルトの名前はubuntuで、
修正が必要な場合はsudo gedit/etc/hostname.
    2. sshパスワードなしログインの確立
まずsudo apt-get install ssh openssh-serverサービスを作成し、その後ssh-keyを作成し、コマンドssh-keygen-t rsa-P"」を使用します.
帰りは~/.ssh/の下に2つのファイルが生成されます:id_rsaとid_rsa.pubこの2つのファイルは、~/.ssh/ディレクトリの下でid_rsa.pub追加先
authorized_keysライセンスファイルにはauthorized_がありません.keysファイルの、使用コマンド:cat id_ras.pub >> authorized_keys中
次にssh localhostを使用すると正常にログインできます.
    3. hadoopのインストール
hadoopアカウントのルートディレクトリにフォルダhadoopを作成し、
wget http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.1/hadoop-1.1.1-bin.tar.gz最新をダウンロード
バージョンのhadoopは、現在1.1.1の安定バージョンです.現在のフォルダtar-xvf hadoop-1.1.1-binに解凍する.tar.gzはコマンドmvで
hadoop-1.1.1 hadoop、それからhadoopの構成を開始して、4つのファイルが構成する必要があります.ここでは最も簡単な構成を採用しています.多くのパラメータがあります.
すべてhadoopシステム自身のデフォルトを採用して、この4つのファイルはconfディレクトリの下で、hadoop-envです.sh core-site.xml hdfs-site.xml
mapred-site.xml.
1)hadoop-envを修正する.sh
     sudo gedit hadoop-env.sh,そのうちの1行をexport JAVA_に変更するHOME=/usr/lib/jvm/java-6-sun-1.6.0.24
つまりJava仮想マシンの実行ディレクトリを構成します.このディレクトリはあなたのマシンにjavaをインストールする場所です.
2)core-siteを修正する.xml

<configuration>

    <property>

	<name>hadoop.tmp.dir</name>

        <value>/home/hadoop/hadoop/hadoop/tmp</value>

    </property>

    <property>

	<name>fs.default.name</name>

 	<value>hdfs://localhost:9000</value>

    </property>

</configuration>

3)hdfs-siteを修正する.xml

<configuration>

      <property>

	<name>dfs.replication</name>

	<value>1</value>

      </property>

</configuration>

4)mapred-siteを修正する.xml

<configuration>

      <property>

	 <name>mapred.job.tracker</name>

          <value>localhost:9001</value>
      </property>

</configuration>

4 Hadoopの実行
hadoopディレクトリの下に入って、hdfsファイルシステムをフォーマットして、bin/hadoop namenode-format、フォーマットが完成した後
hadoopを起動し、bin/start-dfsをコマンドします.sh bin/start-mapred.sh,起動完了後jpsコマンドで表示
プロセス.次の5つのプロセスがプロセスに含まれている場合は、インストールに成功しました.

3453 TaskTracker

7753 Jps

3218 JobTracker

2572 NameNode

3073 SecondaryNameNode

2843 DataNode

    5. 簡単なwordcount例を実行
テストデータを準備するには、echoコマンドを使用して2つのテストファイルを簡単に生成し、ディレクトリtestdataを新規作成します.このディレクトリの下に
echo "hello world bye world"> file1.txtecho "hello hadoop goodbye hadoop"> file2.txt
この2つのファイルをhdfsファイルシステムに書き込み、bin/hadoop fs-put./testdata/input使用コマンドhadoop fs-lsr
この2つのファイルはhadoopのhdfsファイルシステムの中にあることがわかります.コマンドbin/hadoop jar hadoop-examples-1.1.1を使用します.jar 
wordcount input outputがwordcountを実行する例では、次のような実行手順が表示されます.

12/12/10 22:31:15 WARN conf.Configuration: mapred.used.genericoptionsparser is deprecated. Instead, use mapreduce.client.genericoptionsparser.used

12/12/10 22:31:15 INFO input.FileInputFormat: Total input paths to process : 2

12/12/10 22:31:16 INFO mapreduce.JobSubmitter: number of splits:2

12/12/10 22:31:18 INFO mapreduce.Job: Running job: job_201212102055_0001

12/12/10 22:31:19 INFO mapreduce.Job:  map 0% reduce 0%

12/12/10 22:32:43 INFO mapreduce.Job:  map 100% reduce 0%

12/12/10 22:33:30 INFO mapreduce.Job:  map 100% reduce 100%

12/12/10 22:33:54 INFO mapreduce.Job: Job complete: job_201212102055_0001

12/12/10 22:33:54 INFO mapreduce.Job: Counters: 36

	FileInputFormatCounters

プログラムが正常に実行されたことを示し、bin/hadoop fs-cat output/*をコマンドすることで実行結果を見ることができます.

bye	1

goodbye	1

hadoop	2

hello	2

 world	2

もちろんbin/hadoop fs-get output outputをローカルのファイルシステムにエクスポートするコマンドで確認することもできます.