Ubuntu16.0.4手動インストールCDH 5.14.0(一)環境準備

3800 ワード

概要


CDH 5のオフラインインストールについては、ネットワークにはさまざまなインストールチュートリアルがあふれていますが、穴があいていて、その後の多くの問題はインストールプロセスのエラーと関係があります.私も被害を受けましたが、最後に公式インストールチュートリアルを使ってインストールしました.
  • は便宜上rootユーザーで行います.
  • ハードウェアの制限により、ここでは擬似クラスタモードでインストール、すなわち1台のホストしかインストールされていないが、より多くのホストのインストールプロセスはほぼ同じ
    • である.

  • ip
    host name
    192.168.40.130
    master
    クラスタ間マッピング関係は次のとおりです.
    ip
    host name
    192.168.40.130
    master

    • の準備を


    ホストの設定

  • 各ノード/etc/hostsのファイル内容は以下の通りである:
    • 127.0.0.1   localhost

#    
192.168.40.130  master

#     
...

# The following lines are desirable for IPv6
... ...

    注意:hostsファイルの内容は上記のようにしなければなりません.そうしないと、さまざまなエラーが発生します.以下はエラーのhostファイルです.
  • エラー1 
    127.0.0.1       localhost
127.0.1.1       master.localdomain master
  • エラー2 
    127.0.0.1       localhost localhost.master master
192.168.40.130  master

    • ファイアウォールの設定

    ufw enable
ufw allow 3306/tcp
ufw allow ssh/tcp
ufw allow 7180/tcp
reboot

    sshの構成

  • sshサービス
    • をインストール
    apt-get install openssh-server
  • /etc/ssh/sshd_configプロファイルの変更:
    • UsePrivilegeSeparation no
PermitRootLogin yes
PasswordAuthentication yes
  • 秘密登録なしの構成
  • は、各ノード上で鍵対
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    、
    • を生成する.
  • 各ノードで公開鍵をクラスタ内のすべてのノードに送信する(master,slave 1,...)
    ssh-copy-id -i ~/.ssh/id_rsa.pub @
    説明:はターゲットノードのユーザ名であり、はターゲットノードのホスト名である.


    • JAVAの設定

  • JAVA
    • 取付
    add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java8-installer
  • JAVAを設置するHOME
    • update-alternatives --config javaで現在のjava情報を表示します.
    There is 1 choice for the alternative java (providing /usr/bin/java).

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      auto mode
* 1            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      manual mode

Press  to keep the current choice[*], or type selection number:
    /etc/enviromentファイルを修正し、JAVAを追加HOME: 
    JAVA_HOME="/usr/lib/jvm/java-8-oracle"
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

    プライマリノード構成MySQL

  • メインノードmysql
    • をインストール
    apt-get install mysql-server
  • リモートアクセス可能にする
    • 修正/etc/mysql/mysql.conf.d/mysqld.cnf:
    #bind-address           = 127.0.0.1
    mysql -uroot -pを介してmysqlコマンドインタフェースにアクセスし、rootアカウントへのリモートアクセスを許可するように設定します.
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
FLUSH PRIVILEGES;
  • mysqlデータベースの準備:
    • create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    次のステップ
    参照先:
  • Installation Path B - Installation Using Cloudera Manager Parcels or Packages
  • Cloudera Manager and Managed Service Datastores
  • Cloudera Manager Version and Download Information
    • [Unity]uGUI上で動画を再生する
    【ros】インストール時にsudo rosdep initを実行する際に発生する問題