仮想マシンでHadoopクラスタを構築する(シングルマシンモード)

8532 ワード

ソフトウェアのインストール

まず、仮想マシンをインストールしてJAVA環境を設定していることを確認してください.この二つの教程が必要です.参考してください.
1、仮想マシン、 http://blog.csdn.net/uq_ジン/articale/detail/51355124
2、JAVA、 http://blog.csdn.net/uq_ジン/articale/detail/51356799
以下から仮想マシン上に単独機モードのHadoopクラスタを構築する.

一、Hadoopをダウンロードする
ダウンロード先: http://apache.fayea.com/hadoop/common/
あなたがインストールしたいHadoopのバージョンを選択してください.ローカルにダウンロードします.ビルの主はHadoop-2.6.4です.
二、Hadoopの取り付け
ダウンロードしたHadoop圧縮パッケージを仮想マシンのルートディレクトリにアップロードし、ストレスを解消し、名前を変更します.

tar xzvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4 hadoop

三、Hadoopを設定して起動する
1、hadoop/etc/hadoop/hadoop-env.shのJavaのインストール経路を修正するJAVA_ホーム?ム
環境変数JAVA_が設定されています.HOMEの場合は、直接「echo」を使います. $JAVUHOMEコマンドはJavaインストール経路を特定できます.

echo $JAVA_HOME

環境変数が設定されていない場合はJAVA_HOME、直接“echo”を使います. $JAVUHOME命令はJavaインストール経路に位置しないため、以下の方法で位置決めする必要があります.

[root@localhost ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

[root@localhost ~]# which java
/opt/java/jdk1.8.0_181/bin/java

[root@localhost ~]# ls -lrt /opt/java/jdk1.8.0_181/bin/java
-rwxr-xr-x. 1 10 143 7734 Jul  7 04:06 /opt/java/jdk1.8.0_181/bin/java

仮想マシンのJAVAのインストール経路が分かりました.hadoop/etc/hadoop/hadoop-env.shのJAVA_.HOMEは、設置経路に対応するように修正しました(下図のように、①のJAVA＿HOMEを②のJAVA対応設置経路に修正します).

2、hdfsのプロファイルを修正するhadoop/etc/hadoop/coree-site.xmlとhadoop/etc/hadoop/hdfs-site.xml
①プロファイルhadoop/etc/hadoop/coree-site.xmlを変更する:
hadoop/etc/hadoop/coree-site.xmlファイルのconfigrationに下図の枠内の内容を入れます.


    
    
        fs.defaultFS
        hdfs://0.0.0.0:9000
    
    
    
        hadoop.tmp.dir
        /home/xupanpan/hadoop/temp

②プロファイルhadoop/etc/hadoop/hdfs-site.xmlを変更する:
hadoop/etc/hadoop/hdfs-site.xmlファイルのconfigrationに下図の枠内の内容を追加します.


    
    
        dfs.replication
        2

3、hdfsの起動と停止
①hdfs初回起動前にフォーマットする必要があります.

/root/hadoop/bin/hdfs namenode -format

②hdfsを起動する

/root/hadoop/sbin/start-dfs.sh

起動後、ブラウザに仮想マシンのアドレスを入力して、50070ポートを追加して、プレビューを行うことができます.ビルの主な仮想マシンのアドレスは192.168.1.224です.
　http://192.168.1.224:50070/

hdfsを使わない時はhdfsをオフにしてもいいです.

/root/hadoop/sbin/stop-dfs.sh

4、HFS shellの常用操作
①ヘルプの表示

/root/hadoop/bin/hadoop fs -help

②ファイルをアップロードする

/root/hadoop/bin/hadoop fs -put /root/hadoop/word.txt /
＜hadoop         ＞ fs -put ＜        ＞ ＜hdfs       ＞

その他の操作は、ヘルプの内容を見ることによって行うことができます.
5、アップロードファイルでhdfsをテストする
①test.txtファイルを新規作成する:

②test.txtファイルをhdfsのルートディレクトリにアップロードする

/root/hadoop/bin/hadoop fs -put /root/hadoop/test.txt /

③はhttp://192.168.1.224:50070/で表示します

四、YARNの配置、起動と停止
1、名前を変えて、プロファイル/root/hadoop/etc/hadoop/mapred-site.xmlを修正する.

mv /root/hadoop/etc/hadoop/mapred-site.xml.template /root/hadoop/etc/hadoop/mapred-site.xml


    
    
        mapreduce.framework.name
        yarn

2、プロファイル/root/hadoop/etc/hadoop/yarn-site.xmlを変更する



    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle

3、YARNを起動する

/root/hadoop/sbin/start-yarn.sh

起動後、ブラウザに仮想マシンのアドレスと8088ポートを入力してプレビューにアクセスできます.ビルの主な仮想マシンのアドレスは192.168.1.224です.
　http://192.168.1.224:8088/cluster

4、YARNを閉じる

/root/hadoop/sbin/stop-yarn.sh

これで、仮想マシンの単一モードHadoopクラスタが構築されました.当社のMapperReduceはYARNで動作し、結果をHFSに保存します.hadoop-mapreduce-examples.jarというワードcountをhadoop-Madcountで実行して、簡単なMPプログラムを実行して、テキストの中の語彙を計算しなくてもいいです.

参考:
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

アップロードの心得