CDH5.12.0インストールの導入

準備する
1.オフライン配置

MySQL  
CM    
Parcel  

2.計画
ノードMySQL Parcelソースファイルcmサービスプロセスビッグデータコンポーネント
3.ダウンロードソース
CM http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz Parcel http://archive.cloudera.com/cdh5/parcels/5.12.0/CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel http://archive.cloudera.com/cdh5/parcels/5.12.0/CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1 http://archive.cloudera.com/cdh5/parcels/5.12.0/manifest.json
JDK
MySQL
MySQL jdbc jar
二取付

echo "172.19.2.20 hadoop001">> /etc/hosts
echo "172.19.2.18 hadoop002">> /etc/hosts
echo "172.19.2.19 hadoop003">> /etc/hosts

4.すべてのノードファイアウォールを閉じ、ルールをクリア

systemctl stop firewalld
systemctl disable firewalld
iptables -F

5.すべてのノードのselinuxを閉じる

vi /etc/selinux/config
 SELINUX=enforcing  SELINUX=disabled
           

6.クロック同期

date
timedatectl
timedatectl --help
      
timedatectl list-timezones
          
timedatectl set-timezone Asia/Shanghai
6.2
      ntp
yum install -y ntp

  hadoop001 ntp    
vi /etc/ntp.conf

server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
         ，        
server 127.127.1.0 iburst local clock
              
restrict 172.19.2.0 mask 255.255.255.0 nomodify notrap

  ntpd     
systemctl start ntpd
systemctl status ntpd
  
ntpq -p

         ntpd  
systemctl stop ntpd
systemctl disable ntpd
 /usr/sbin/ntpdate hadoop001
     hadoop001     
 crontab -e
00 00 * * * /usr/sbin/ntpdate hadoop001

7.JDK配備

scp -r jdk-8u144-linux-x64.tar.gz root@hadoop002:/ 
scp -r jdk-8u144-linux-x64.tar.gz root@hadoop003:/ 
	mkdir /usr/java
	tar  -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java
	          ，  
chown -R root:root /usr/java/jdk1.8.0_144
	vi /etc/profile
	export JAVA_HOME=/usr/java/jdk1.8.0_144
	export PATH=${JAVA_HOME}/bin:${PATH}
	source /etc/profile
	which java

8.mysqlの配備
9.CDHメタデータベースとユーザー、amonサービスの作成

create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'root';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'root';
flush privileges;

10.hadoop 001プライマリノード配置mysql jdbc jar

mkdir -p /usr/share/java/
cp mysql-connector-java.jar /usr/share/java/

三、CDH配置
1.オフライン配置cm agentおよびagent
1.1すべてのノードのディレクトリ作成および解凍

scp -r cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz root@hadoop002:/ 
scp -r cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz root@hadoop003:/ 
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz -C /opt/cloudera-manager/

1.2すべてのノードがagent構成を変更し、serverのノードhadoop 001を指す

sed -i "s/server_host=localhost/server_host=hadoop001/g" /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

1.3プライマリノードserverの構成の変更

vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hadoop001
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=root
com.cloudera.cmf.db.setupType=EXTERNAL

1.4すべてのノードによるユーザーの作成

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

1.5ディレクトリユーザーおよびユーザーグループの変更

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

2.hadoop 001ノードオフラインparcelソースの配置
2.1オフラインparcelソースの配備

mkdir -p /opt/cloudera/parcel-repo

cp CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel /opt/cloudera/parcel-repo/
ll
 parcel cp    
sha1 -> sha

2.2ディレクトリ変更ユーザーおよびユーザーグループ

chown -R cloudera-scm:cloudera-scm /opt/cloudera/

3.すべてのノードはソフト接続インストールディレクトリ、ユーザー、ユーザーグループ権限を作成する

mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

4.hadoop 001ノードserverの起動
4.1 serverの起動

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server start

4.2アリクラウドポートの開放
4.3 http://hadoop001:7180ログインadmin/admin
5.すべてのノード起動agent

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent start

あとはページ操作ポイント
13サーバ構成の変更
13.1./proc/sys/vm/swappinessを最大10に設定することをお勧めします.

swappiness                ；
swappiness=0：            ，    swap  ；
swappiness=100：      swap  ，              swap  ；
        ，       swap，      swappiness。
    ：
sysctl vm.swappiness=10
    ：
cat << EOF >> /etc/sysctl.conf
 vi /etc/sysctl.conf
 
# Adjust swappiness value
vm.swappiness=10
EOF

13.2.透明な大画面圧縮を有効にすると、パフォーマンスに大きな問題が発生する可能性があります.この設定を無効にすることをお勧めします.

    ：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
    ：
cat << EOF >> /etc/rc.d/rc.local
vi /etc/rc.d/rc.local
# Disable transparent_hugepage
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
EOF

# centos7.x  ，   "/etc/rc.d/rc.local"        
chmod +x /etc/rc.d/rc.local