Hadoop2.7+Centos 7擬似分散環境ステップレコード

構想:主従サーバーを準備して、主サーバーを配置してパスワードのSSHがなくてサーバーから登録することができて、JDKを解凍してインストールして、Hadoopを解凍してインストールして、hdfs、mapreduceなどの主従関係を配置します.
第一歩仮想マシンとLinuxシステムのインストール(1)centos 7 VMWare 12のダウンロード(2)centos 7の完全版のインストール
ステップ2 JDKのインストール
注意jdk 7のダウンロードはシステムと一致し、ここではjdk 7 64ビットを使用し、Hadoop 2をダウンロードする.7.1公式サイトは64ビット(1)「jdk-7 u 79-linux-x 64.gz」をダウンロードし、/usr/local/softディレクトリの下に置く(新規ソフトウェアは後続のアップロードソフトウェアを保存するために使用する)(2)解凍、コマンドを入力し、tar -zxvf jdk-7u79-linux-x64.gzファイルを/usr/local/jdkディレクトリの下に移動mvソースファイルターゲットファイル(3)環境変数の設定:編集/etc/profile

export JAVA_HOME=/home/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 

(4)設定を有効にし、コマンドを入力し、source /etc/profile(5)コマンドを入力し、java -version設定が有効かどうかをチェックする
鍵なしでログイン!!SSHはパスワードなしでログインします.HadoopはSSHで各ノードにログインして操作する必要があるので、rootユーザーを使っています.各サーバは公開鍵を生成し、authorized_にマージします.keys(1)CentOSはデフォルトでssh非密ログインを開始せず、/etc/ssh/sshd_を削除configの中の2行の注釈は、各サーバが設定し、RSAAuthentication yes PubkeyAuthentication yes(2)入力コマンド、ssh-keygen-t rsa、keyを生成し、パスワードを入力せずに、ずっと車に戻って、/rootが生成する.sshフォルダ、各サーバに設定、(3)公開鍵をauthorized_にマージkeysファイル、Masterサーバで/root/.sshディレクトリ、SSHコマンドでマージ、cat id_rsa.pub > authorized_keysはauthorized_に鍵を書き込むkeysファイルでauthorized_keysファイルを次のマシンにコピーします.sshパスの下で公開鍵idのマージを続行rsa.pub cat id_rsa.pub>> authorized_keys、サイクルがすべてのマシンを統合した後、最終的なauthorized_keysファイルは各マシンにコピーされます.over(5)完了、[email protected]、ssh [email protected]パスワードを入力する必要はありません
手順3 Hadoopのインストール
1)hadoopインストールパッケージを解凍する/usr/local/hadoop 2)hadoopの下にフォルダtmp hdfs dfs/data、dfs/name 3を作成する)プロファイルを変更するには、構成/usr/local/hadoop/etc/hadoopディレクトリのcore-site.xml

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://192.168.100.10:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>file:/usr/local/hadoop/tmpvalue>
    property>
    <property>
        <name>io.file.buffer.sizename>
        <value>131702value>
    property>
configuration>

/usr/local/hadoop/etc/hadoopディレクトリのhdfs-siteを構成します.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dirname>
        <value>file:/usr/local/hadoop/dfs/namevalue>
    property>
    <property>
        <name>dfs.datanode.data.dirname>
        <value>file:/usr/local/hadoop/dfs/datavalue>
    property>
    <property>
        <name>dfs.replicationname>
        <value>2value>
    property>
    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>192.168.100.10:9001value>
    property>
    <property>
    <name>dfs.webhdfs.enabledname>
    <value>truevalue>
    property>
configuration>

/usr/local/hadoop/etc/hadoopディレクトリのmapred-siteを構成します.xmlはmapred-site.xml.templateの名前をmapred-siteに変更します.xml

<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
    <property>
        <name>mapreduce.jobhistory.addressname>
        <value>192.168.100.10:10020value>
    property>
    <property>
        <name>mapreduce.jobhistory.webapp.addressname>
        <value>192.168.100.10:19888value>
    property>
configuration>

/usr/local/hadoop/etc/hadoopディレクトリのyarn-siteを構成します.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.classname>
        <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
    property>
    <property>
        <name>yarn.resourcemanager.addressname>
        <value>192.168.100.10:8032value>
    property>
    <property>
        <name>yarn.resourcemanager.scheduler.addressname>
        <value>192.168.100.10:8030value>
    property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.addressname>
        <value>192.168.100.10:8031value>
    property>
    <property>
        <name>yarn.resourcemanager.admin.addressname>
        <value>192.168.100.10:8033value>
    property>
    <property>
        <name>yarn.resourcemanager.webapp.addressname>
        <value>192.168.100.10:8088value>
    property>
    <property>
        <name>yarn.nodemanager.resource.memory-mbname>
        <value>768value>
    property>
configuration>

構成/home/hadoop/hadoop-env.sh、yarn-env.shのJAVA_HOME

export JAVA_HOME=/usr/local/jdk

ステップ5/usr/local/hadoop/etc/hadoopディレクトリのslavesの構成

     localhost，  2    ，
192.168.100.11
192.168.100.12

ステップ6:構成されたHadoopを各ノードの対応する位置にコピーし、scpで転送する

scp -r /home/hadoop 192.168.0.183:/home/
scp -r /home/hadoop 192.168.0.184:/home/

ステップ7 Masterサーバでhadoopを起動
/usr/local/hadoopディレクトリ(1)初期化、コマンド入力、bin/hdfs namenode-format!!!(2)すべてsbin/start-allを起動する.shは、sbin/start-dfsに分けるもよい.sh、sbin/start-yarn.sh(3)を停止する場合は、コマンドを入力し、sbin/stop-all.sh(4)入力コマンド、jps、関連情報が表示されます
ステップ8 Webアクセス、ファイアウォールを直接閉じないとアクセスできません
centos 7 firewallを閉じる:

systemctl stop firewalld.service #  firewall
systemctl disable firewalld.service #  firewall    
firewall-cmd --state #         （     notrunning，     running）

centos 6 firewallを閉じる:

      
            service iptables stop
      :        service iptables status
            
            chkconfig iptables off
      :        chkconfig --list | grep iptables

     http://192.168.100.10:50070/

インストールが完了しました.これはビッグデータアプリケーションの開始にすぎず,その後の作業は,自分の状況に合わせてHadoopのインタフェースをプログラミングし,hdfs,mapreduceの役割を果たすことである.