仮想&サーバ関連の変更構成

メモリ4 G、ハードディスク50 G

linux/boot 200 M/swap 2 g/残り

をインストール

*VMTools

のインストール

ファイアウォールsudo service iptables stop sudo chkconfig iptables off

を閉じる

静的IPを設定し、ホスト名編集vim/etc/sysconfig/network-scripts/ifcfg-eth 0をDEVICE=eth 0 TYPE=Ethernet ONBOOT=yes BOOTOTO=static NAME="eth 0"IPADDR=192.168.5.101 PREFIX=24 GATEWAY=192.168.5.2 DNS 1=192.168.5.2 vim/etc/sysconfig/network変更HOSTNAME=その行

構成/etc/hosts vim/etc/hosts 192.168.5.100 hadoop 100 192.168.5.101 hadoop 101 192.168.5.102 hadoop 102 192.168.5.103 hadoop 103 192.168.5.104 hadoop 104 192.168.5.105 hadoop 105 192.168.5.106 hadoop 106 192.168.5.107 hadoop 107 192.168.5.108 hadoop 108 192.168.5.109 hadoop 109

一般ユーザーatfadaを作成し、パスワードuseradd atfada passwd atfada

を構成します.

このユーザをsudoers vim/etc/sudoersとしてroot ALL=(ALL)ALLにatfada ALL=(ALL)NOPASWD:ALL保存時wqを追加!強制保存

*/optディレクトリの下に2つのフォルダmoduleとソフトウェアを作成し、atfada mkdir/opt/module/opt/software chown atfada:atfada/opt/module/opt/software

に所有権を割り当てます.

シャットダウン、スナップショット、クローン

ここから一般ユーザーでログインします

クローン化された仮想マシンIP

配布スクリプトcd~vim xsyncの内容は以下の通りです:#!/bin/bash#1は入力パラメータの個数を取得し、パラメータがなければpcount=$#if((pcount=0))を直接終了する.then echo no args; exit; fi

#2       
p1=$1
fname=`basename $p1`
echo fname=$fname

#3            
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4         
user=`whoami`

#5   
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

chmod +x xsync sudo cp xsync/bin sudo xsync/bin/xsync

無密登録

1.      
ssh-keygen -t rsa     

2.        
ssh-copy-id localhost       

3.   ssh         
ssh hadoop102
exit
ssh hadoop103
exit
ssh hadoop104
exit

4.  /home/atfada/.ssh              
xsync /home/atfada/.ssh

を配置する.

JavaとHadoopを1台のマシンにインストールし、環境変数を構成してクラスタの他のマシン1に配布する.ファイルを/opt/softwareにコピーし、2つのtarパッケージ2.tar -zxf h"+tab"-C/opt/module 3. tar -zxf j"+tab"-C/opt/module 4. sudo vim/etc/profileファイル末尾に#JAVAを追加HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  
5. source /etc/profile

6. sudo xsync /etc/profile

7.          source /etc/profile

###すべてのプロファイルは$HADOOP_HOME/etc/hadoop 14. まずhadoop-envを構成する.sh,yarn-env.sh,mapred-env.shファイル、Javaの構成HOMEファイル2行目にexport JAVAを追加HOME=/opt/module/jdk1.8.0_144

Core-siteを配置する.xml

    fs.defaultFS
    hdfs://hadoop102:9000




    hadoop.tmp.dir
    /opt/module/hadoop-2.7.2/data/tmp

hdfs-siteを構成する.xml dfs.replication 3 dfs.namenode.secondary.http-address hadoop104:50090

yarn-siteを配置する.xml

        yarn.nodemanager.aux-services
        mapreduce_shuffle




    yarn.resourcemanager.hostname
    hadoop103



    yarn.log-aggregation-enable
    true




    yarn.log-aggregation.retain-seconds
    604800

mapred-siteを構成する.xml mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop104:10020 mapreduce.jobhistory.webapp.address hadoop104:19888

配置Slaves hadoop 102 hadoop 103 hadoop 104

配布プロファイルxsync/opt/module/hadoop-2.7.2/etc

フォーマットNamenode hadoop 102 hdfs namenode-format

hdfs start-dfsを起動する.sh [atfada@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

Resourcemanagerが配置する機器でHadoop 103でstart-yarnを起動する.sh

24 mkdir input vim input/input hadoop fs -put input/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount/input/output
25関stop-dfs.sh stop-yarn.sh
26 hadoop-daemon.sh start namenodeまたはdatanode yarn-daemon.sh start resourcemanagerまたはnodemanager
クラスタに問題が発生した場合cd$HADOOP_HOME rm-rf data logsは21 hadoopクラスタに戻ってjpsを起動してDATANODEがないことを確認します
data/hadoop/cluster/data/current/VERSIONファイルを削除して再起動すればよい

  ：*             ：
1（1）  ip    
        ：  vim /etc/sysconfig/network-scripts/ifcfg-eth0
      
 （2） etho  （       ，    dd  ）
        ：sudo vim /etc/udev/rules.d/70-persistent-net.rules
 （3）    
        ：  vim /etc/sysconfig/network
             HOSTNAME=   

変更後に仮想マシンreboot ifconfigを再起動し、自分で設定したipに変更したかどうかを観察します.設定に失敗した場合:解決方法:1.Servicenetwork restart再起動ネットワーク

          2. 1     ，       ："      “ /org/freedestop.......
                ：

実行コマンド:1、サービスNetworkManager stop-->2.chkconfig NetworkManager off–>3.Servicenetwork restartは、自分が変更したいIPに変更できます.
chown bigdata(グループ名):bigdata(ユーザー名)
一般ユーザー名の変更
su-またはsu-root(rootユーザーの下にあります.su-を使用することに注意してください.理由は以下を参照してください)
usermod-l新しいユーザー名-d/home/新しいユーザー名-m古いユーザー名(英語L)
注意:ネット上にはusermod-lの新しいユーザー名の古いユーザー名があります.
しかし、この方法は表面だけを変更しました.pwdコマンドで見てください.パスは前のユーザー名です.
補足:ユーザー名usermod-l bigdata-d/home/bigdata-m atfadaの変更
グループ名sudo groupmod-n sftp 073 sftp 075の変更
**sudo groupmod-n新しいグループ古いグループ**グループsftp 075をグループsftp 073に名前を変更