Hadoop学習ノート1(hadoop擬似分布式構築)

3659 ワード
JAVA
hadoop擬似分布式構築
  • インストールJDK 1)フォルダmkdir~/jdk 1.8 2)このディレクトリの下にファイルを解凍mv jdk-8 u 60-linux-x 64.tar.gz jdk 1.8 tar-xzvf jdkxxx.tar.gz 3)新しくインストールしたjavaを環境変数にvi~/.bash_profile
    JAVA_HOME=/home/hadoop/jdk1.8/jdk1.8.0_60;export JAVA_HOME
    PATH=$JAVA_HOME/bin:/usr/bin:/usr/sbin/:/sbin:/bin:$PATH;export PATH
    )再実行.bash_profileは、新しい環境変数を有効にします.Javaバージョン#.~/.bash_を表示します.profile #java -version
    java version "1.8.0_60"
    Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
    Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
  • hadoopをインストールします.hadoop 2.xのプロファイル$HADOOP_HOME/etc/hadoop,擬似分布式は5つのプロファイルを修正する必要がある.1)hadoopを構成する
  • 最初のプロファイルhadoop-env.sh(主にjava_homeを作成)
    # 27
    export JAVA_HOME=/home/hadoop/jdk1.8/jdk1.8.0_60
    • を変更
  • 2 2 2番目のプロファイルcore-site.xml(Name Nodeのアドレスを指定)
    # \\


    fs.defaultFS
    hdfs://DEVSRV3-SIT.localdomain:9000



    hadoop.tmp.dir
    /tmp

    • を変更
  • 第3プロファイルhdfs-site.xml


    dfs.replication
    1

    • を変更
  • 4 4番目のプロファイルmapred-site.xml(このファイルがなければcpまたはmvで出力可能)


    mapreduce.framework.name
    yarn

    • を変更
  • 変更5ファイル目:yarn-site.xml


    yarn.resourcemanager.hostname
    DEVSRV3-SIT.localdomain



    yarn.nodemanager.aux-services
    mapreduce_shuffle

    )hadoopを環境変数に追加.bash_profileで、その後source~/.bash_profile.端末にhadoopコマンドプロンプトがある場合は、パス構成に成功したことを示す.
    HADOOP_HOME=/home/hadoop/hadoop-2.7.1;export HADOOP_HOME
    PATH=$JAVA_HOME/bin:/usr/bin:/usr/sbin/:/sbin:/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH;export PATH
    3)フォーマットnamenode(初期化namenodeとも呼ばれる)
    hdfs namenode -format
    4)hadoopを起動する
  • hdfsを先に起動し、yesを複数回入力する必要があり、sshを使用してパスワードなしでログインします.start-dfs.sh
  • 再起動YARN start-yarn.sh 5)jps検証が正常に起動されたかどうかを検証するには、
    28352 NameNode
    23986 Jps
    31474 DataNode
    21923 NodeManager
    21075 ResourceManager
    3167 SecondaryNameNode
    HDFS管理ページを含む必要があります.http://20.4.16.19:50070 MR管理ページhttp://20.4.16.19:8088


  • SSHパスワードフリーログインを構成ssh鍵ssh-keygen-t rsaを生成id_rsa.pubはログイン不要のマシンにコピー~/.ssh/authorized_keysで効果を試してみようsshhadoop@localhost date

    • エラーレポートのまとめ
  • hadoop namenode-formatエラー:
    Invalid byte 2 of 2-byte UTF-8 sequence
    このエラーはXMLの符号化はUTF 8ですが、私たちが編集するときに使用したxshell文字セットはGBKなので、中国語が文字化けしてしまいます.XML解析の問題を引き起こす.
  • WARN: Unable to load native-hadoop library for your platform
    I assume you’re running Hadoop on 64bit CentOS. The reason you saw that warning is the native Hadoop library $HADOOP_HOME/lib/native/libhadoop.so.1.0.0 was actually compiled on 32 bit.
    Anyway, it’s just a warning, and won’t impact Hadoop’s functionalities.
  • start-yarn.sh起動後jpsにnodeManagerとResourceManagerはありません.ここでは、対応する.outファイルのlogを参照してください.今回はyarn-site.xmlのホスト名を構成した後にスペースが1つ増えたためです.
    • Jrebel&Jet Brains License Server for Javaアクティブ化神器
    js for inとforサイクル