Ubuntu 14.04 Cloudera Manager 5 And CDH 5のインストール(オンラインインストール)
8731 ワード
一環境準備
1 ubuntu 14.04システムをインストールします。
（ ）
2ネットワーク環境の構成
。（ ）
3物理機器の準備
3台以上、機械の要求:Cloudera Server端、メモリは8 G以上、Cloudera Clent端、メモリは4 G以上.
4システムrootユーザーパスワードの設定を設定します。
libf@CDH-02:~$ sudo passwd
[sudo] password for libf:
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
libf@CDH-02:~$ su
Password:
root@CDH-02:/home/libf#
注意:後続のソフトウェアインストールプロセスおよびシステム構成はrootユーザーを使用して操作されます.
5マシンのホスト名(hostname)とホスト名マッピング(hosts)の構成
root@CDH-02:~# vi /etc/hostname
ブロガーマシンは以下のように構成されています.CDH-02
root@CDH-02:~# vi /etc/hosts
ブロガーマシンの構成は以下の通りです.127.0.0.1 localhost
10.0.3.158 CDH-01
10.0.3.156 CDH-02
10.0.3.186 CDH-03
10.0.3.164 CDH-04
10.0.3.179 CDH-05
10.0.3.196 CDH-06
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
注:ブロガーには6台の物理機器があり、CHD-01はCloudera-Managerサービス側であり、残りはCloudera-Agent側である.
二依存ソフトウェアのインストール
インストール依存ソフトウェアの追加
1 vimインストール
デフォルトのUbuntu 14.04はvimがインストールされていません.その後、多くのプロファイルを変更する必要があります.ブロガーはvimツールを使用し、個人の好みに応じてテキスト編集ツールをインストールすることに慣れています.root@CDH-02:~# apt-get install vim
Reading package lists... Done
Building dependency tree
Reading state information... Done
vim is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-02:~#
注意:ブロガーマシンにはvimがインストールされています.再インストールすると、再インストールする必要はありません.
2 sshインストール
このツールをインストールするには、2つの理由があります:1、リモート管理システムができます.2,Cloudera Managementクラスタ管理にはこのサービスが必要です.root@CDH-02:~# apt-get install openssh-server
Reading package lists... Done
Building dependency tree
Reading state information... Done
openssh-server is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-02:~#
sshサービス構成
sshd_を開くconfigファイル、/etc/sshディレクトリの下にあります.root@CDH-02:~# vi /etc/ssh/sshd_config
注記#PermitRootLogin without-password行を削除します.
PermitRootLogin yes行の追加
修正後、次のようになります.# Authentication:
LoginGraceTime 120
#PermitRootLogin without-password
PermitRootLogin yes
StrictModes yes
注意:この行を変更する目的は、rootユーザーを使用してマシンにリモート接続して操作し、後続のCloudera Management構成で使用できるようにすることです.
3 MySQLインストール
注意:Cloudera-Manager-Server側はMySqlをインストールする必要があります.Cloudera-Manager-Agent側はインストールしなくてもいいです.
インストールアドバイザの詳細は、リンクを参照してください.http://blog.csdn.net/blackkey2008/article/details/50763681
3 Cloudera-Manager-serverのインストール
サーバノードの設定(CDH-01)
1 Clouderaダウンロードソースの構成
1.Save the appropriate Cloudera Manager list file(cloudera.list)for your system:(ソースファイルをダウンロード)
http://archive.cloudera.com/cm5/debian/squeeze/amd64/cm/cloudera.list
2. Copy the content of that file to the cloudera-manager.list file in the/etc/apt/sources.list.d/directory. (ディレクトリ//etc/apt/sources.list.d/下にコピー)
3.Update your system package index by running:(更新元)root@CDH-01:~# apt-get update
4. get apt key(APT KEY取得)root@CDH-01:~# curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -
2 JAVA JDKのインストール
root@CDH-01:~# apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
Reading package lists... Done
Building dependency tree
Reading state information... Done
oracle-j2sdk1.7 is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-01:~#
3 Cloudera Manager Serverパッケージのインストール
apt-get install cloudera-manager-daemons cloudera-manager-server
4 cloudera-manager-serverデータベースの構成
/usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p --scm-host localhost scm scm scm_password
四インストールCloudera-Manager-agent
残りのエージェントノードの構成(CDH-01/CHD-02/CDH-03/CHD-04/CDH-05/CHD-06)
注意:CDH-01およびランニングサービス端はエージェント端を走ります
1 Clouderaダウンロードソースの構成
1.Save the appropriate Cloudera Manager list file(cloudera.list)for your system:(ソースファイルをダウンロード)
http://archive.cloudera.com/cm5/debian/squeeze/amd64/cm/cloudera.list
2. Copy the content of that file to the cloudera-manager.list file in the/etc/apt/sources.list.d/directory. (ディレクトリ//etc/apt/sources.list.d/下にコピー)
3.Update your system package index by running:(更新元)root@CDH-01:~# apt-get update
4. get apt key(APT KEY取得)root@CDH-01:~# curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -
2 JAVA JDKのインストール
root@CDH-01:~# apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
Reading package lists... Done
Building dependency tree
Reading state information... Done
oracle-j2sdk1.7 is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-01:~#
3 Cloudera Manager Agentパッケージのインストール
apt-get install cloudera-manager-daemons cloudera-manager-agent
五まとめとテクニック
1 Clouderaはソース速度が遅く、パッケージのダウンロードが非常に遅い。クラスタ配置各マシンをダウンロードしてインストールし、クラッシュ!!!
テクニック:apt-getコマンドでClouder-Manager-server端子をインストールします.インストールが完了すると、aptのディレクトリの下に次のように表示されます.root@CDH-02:/var/cache/apt/archives# pwd
/var/cache/apt/archives
root@CDH-02:/var/cache/apt/archives# ls -l
total 506832
-rw-r--r-- 1 root root 87528 1 15 02:15 apache2_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 838694 1 15 02:15 apache2-bin_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 159820 1 15 02:15 apache2-data_2.4.7-1ubuntu4.9_all.deb
-rw-r--r-- 1 root root 5710492 2 17 06:42 cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
-rw-r--r-- 1 root root 507648498 2 17 06:42 cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
-rw-r--r-- 1 root root 596524 1 26 22:09 libmysqlclient18_5.5.47-0ubuntu0.14.04.1_amd64.deb
-rw-r--r-- 1 root root 80564 2 12 01:59 libpq5_9.3.11-0ubuntu0.14.04_amd64.deb
-rw-r--r-- 1 root root 826598 12 7 20:45 libssl1.0.0_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 1071744 12 7 20:45 libssl-dev_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 966428 12 7 20:45 libssl-doc_1.0.1f-1ubuntu2.16_all.deb
-rw-r----- 1 root root 0 2 19 2015 lock
-rw-r--r-- 1 root root 13484 1 26 22:09 mysql-common_5.5.47-0ubuntu0.14.04.1_all.deb
-rw-r--r-- 1 root root 562066 1 27 09:54 openssh-client_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 321004 1 27 09:54 openssh-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 34188 1 27 09:54 openssh-sftp-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
drwxr-xr-x 2 root root 4096 2 22 17:57 partial
-rw-r--r-- 1 root root 37056 10 1 01:04 rpcbind_0.2.1-2ubuntu2.2_amd64.deb
root@CDH-02:/var/cache/apt/archives#
apt-getを使用してインストールされたすべてのパッケージがここにあることがわかりました.
はい、apt-getがオンラインでインストールしたパッケージは、この(/var/cache/apt/archives)にキャッシュされます.
ここで必要なclouderaパッケージをclouderaをインストールする必要があるマシン上の対応するディレクトリ(/var/cache/apt/archives)にコピーするだけでいいです.
さらにapt-getコマンドを使用してインストールすると、パッケージがすでに存在していることに気づき、パッケージをダウンロードすることなく、直接インストールされ、パッケージをダウンロードする長い過程を省くことができます.
内
oracle-j2sdk1.7_1.7.0+update67-1_amd64.deb
cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
これらのパケットはダウンロードが非常に遅く、比較的大きく、これらのパケットだけをコピーすることができます.
2 CDHダウンロードが遅くて巨大(1.5 G)
テクニック:
オンラインは今ネットの速さを見て、ブロガーは会社のネットのダウンロードを使ってとても遅くて、基本的に1日ダウンロードします.
ネットワーク環境が良いことを前提に、オンラインでダウンロードすることができます.
また、オフラインダウンロードを選択し、ダウンロードツールを使用してCDHのオフラインパッケージをダウンロードし、指定したディレクトリに配置することもできます.
ダウンロード先:root@CDH-01:/opt/cloudera/parcel-repo# pwd
/opt/cloudera/parcel-repo
root@CDH-01:/opt/cloudera/parcel-repo# ls -l
total 1492724
-rw-r--r-- 1 root root 1528541128 2 26 08:54 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel
-rw-r--r-- 1 root root 41 2 26 08:52 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel.sha
root@CDH-01:/opt/cloudera/parcel-repo#
（ ） 。（ ）libf@CDH-02:~$ sudo passwd
[sudo] password for libf:
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
libf@CDH-02:~$ su
Password:
root@CDH-02:/home/libf#
root@CDH-02:~# vi /etc/hostnameCDH-02root@CDH-02:~# vi /etc/hosts
127.0.0.1 localhost
10.0.3.158 CDH-01
10.0.3.156 CDH-02
10.0.3.186 CDH-03
10.0.3.164 CDH-04
10.0.3.179 CDH-05
10.0.3.196 CDH-06
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allroutersインストール依存ソフトウェアの追加
1 vimインストール
デフォルトのUbuntu 14.04はvimがインストールされていません.その後、多くのプロファイルを変更する必要があります.ブロガーはvimツールを使用し、個人の好みに応じてテキスト編集ツールをインストールすることに慣れています.
root@CDH-02:~# apt-get install vim
Reading package lists... Done
Building dependency tree
Reading state information... Done
vim is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-02:~# 注意:ブロガーマシンにはvimがインストールされています.再インストールすると、再インストールする必要はありません.
2 sshインストール
このツールをインストールするには、2つの理由があります:1、リモート管理システムができます.2,Cloudera Managementクラスタ管理にはこのサービスが必要です.
root@CDH-02:~# apt-get install openssh-server
Reading package lists... Done
Building dependency tree
Reading state information... Done
openssh-server is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-02:~#
sshサービス構成
sshd_を開くconfigファイル、/etc/sshディレクトリの下にあります.
root@CDH-02:~# vi /etc/ssh/sshd_config注記#PermitRootLogin without-password行を削除します.
PermitRootLogin yes行の追加
修正後、次のようになります.
# Authentication:
LoginGraceTime 120
#PermitRootLogin without-password
PermitRootLogin yes
StrictModes yes注意:この行を変更する目的は、rootユーザーを使用してマシンにリモート接続して操作し、後続のCloudera Management構成で使用できるようにすることです.
3 MySQLインストール
注意:Cloudera-Manager-Server側はMySqlをインストールする必要があります.Cloudera-Manager-Agent側はインストールしなくてもいいです.
インストールアドバイザの詳細は、リンクを参照してください.http://blog.csdn.net/blackkey2008/article/details/50763681
3 Cloudera-Manager-serverのインストール
サーバノードの設定(CDH-01)
1 Clouderaダウンロードソースの構成
1.Save the appropriate Cloudera Manager list file(cloudera.list)for your system:(ソースファイルをダウンロード)
http://archive.cloudera.com/cm5/debian/squeeze/amd64/cm/cloudera.list
2. Copy the content of that file to the cloudera-manager.list file in the/etc/apt/sources.list.d/directory. (ディレクトリ//etc/apt/sources.list.d/下にコピー)
3.Update your system package index by running:(更新元)root@CDH-01:~# apt-get update
4. get apt key(APT KEY取得)root@CDH-01:~# curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -
2 JAVA JDKのインストール
root@CDH-01:~# apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
Reading package lists... Done
Building dependency tree
Reading state information... Done
oracle-j2sdk1.7 is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-01:~#
3 Cloudera Manager Serverパッケージのインストール
apt-get install cloudera-manager-daemons cloudera-manager-server
4 cloudera-manager-serverデータベースの構成
/usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p --scm-host localhost scm scm scm_password
四インストールCloudera-Manager-agent
残りのエージェントノードの構成(CDH-01/CHD-02/CDH-03/CHD-04/CDH-05/CHD-06)
注意:CDH-01およびランニングサービス端はエージェント端を走ります
1 Clouderaダウンロードソースの構成
1.Save the appropriate Cloudera Manager list file(cloudera.list)for your system:(ソースファイルをダウンロード)
http://archive.cloudera.com/cm5/debian/squeeze/amd64/cm/cloudera.list
2. Copy the content of that file to the cloudera-manager.list file in the/etc/apt/sources.list.d/directory. (ディレクトリ//etc/apt/sources.list.d/下にコピー)
3.Update your system package index by running:(更新元)root@CDH-01:~# apt-get update
4. get apt key(APT KEY取得)root@CDH-01:~# curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -
2 JAVA JDKのインストール
root@CDH-01:~# apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
Reading package lists... Done
Building dependency tree
Reading state information... Done
oracle-j2sdk1.7 is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-01:~#
3 Cloudera Manager Agentパッケージのインストール
apt-get install cloudera-manager-daemons cloudera-manager-agent
五まとめとテクニック
1 Clouderaはソース速度が遅く、パッケージのダウンロードが非常に遅い。クラスタ配置各マシンをダウンロードしてインストールし、クラッシュ!!!
テクニック:apt-getコマンドでClouder-Manager-server端子をインストールします.インストールが完了すると、aptのディレクトリの下に次のように表示されます.root@CDH-02:/var/cache/apt/archives# pwd
/var/cache/apt/archives
root@CDH-02:/var/cache/apt/archives# ls -l
total 506832
-rw-r--r-- 1 root root 87528 1 15 02:15 apache2_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 838694 1 15 02:15 apache2-bin_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 159820 1 15 02:15 apache2-data_2.4.7-1ubuntu4.9_all.deb
-rw-r--r-- 1 root root 5710492 2 17 06:42 cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
-rw-r--r-- 1 root root 507648498 2 17 06:42 cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
-rw-r--r-- 1 root root 596524 1 26 22:09 libmysqlclient18_5.5.47-0ubuntu0.14.04.1_amd64.deb
-rw-r--r-- 1 root root 80564 2 12 01:59 libpq5_9.3.11-0ubuntu0.14.04_amd64.deb
-rw-r--r-- 1 root root 826598 12 7 20:45 libssl1.0.0_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 1071744 12 7 20:45 libssl-dev_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 966428 12 7 20:45 libssl-doc_1.0.1f-1ubuntu2.16_all.deb
-rw-r----- 1 root root 0 2 19 2015 lock
-rw-r--r-- 1 root root 13484 1 26 22:09 mysql-common_5.5.47-0ubuntu0.14.04.1_all.deb
-rw-r--r-- 1 root root 562066 1 27 09:54 openssh-client_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 321004 1 27 09:54 openssh-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 34188 1 27 09:54 openssh-sftp-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
drwxr-xr-x 2 root root 4096 2 22 17:57 partial
-rw-r--r-- 1 root root 37056 10 1 01:04 rpcbind_0.2.1-2ubuntu2.2_amd64.deb
root@CDH-02:/var/cache/apt/archives#
apt-getを使用してインストールされたすべてのパッケージがここにあることがわかりました.
はい、apt-getがオンラインでインストールしたパッケージは、この(/var/cache/apt/archives)にキャッシュされます.
ここで必要なclouderaパッケージをclouderaをインストールする必要があるマシン上の対応するディレクトリ(/var/cache/apt/archives)にコピーするだけでいいです.
さらにapt-getコマンドを使用してインストールすると、パッケージがすでに存在していることに気づき、パッケージをダウンロードすることなく、直接インストールされ、パッケージをダウンロードする長い過程を省くことができます.
内
oracle-j2sdk1.7_1.7.0+update67-1_amd64.deb
cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
これらのパケットはダウンロードが非常に遅く、比較的大きく、これらのパケットだけをコピーすることができます.
2 CDHダウンロードが遅くて巨大(1.5 G)
テクニック:
オンラインは今ネットの速さを見て、ブロガーは会社のネットのダウンロードを使ってとても遅くて、基本的に1日ダウンロードします.
ネットワーク環境が良いことを前提に、オンラインでダウンロードすることができます.
また、オフラインダウンロードを選択し、ダウンロードツールを使用してCDHのオフラインパッケージをダウンロードし、指定したディレクトリに配置することもできます.
ダウンロード先:root@CDH-01:/opt/cloudera/parcel-repo# pwd
/opt/cloudera/parcel-repo
root@CDH-01:/opt/cloudera/parcel-repo# ls -l
total 1492724
-rw-r--r-- 1 root root 1528541128 2 26 08:54 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel
-rw-r--r-- 1 root root 41 2 26 08:52 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel.sha
root@CDH-01:/opt/cloudera/parcel-repo#
root@CDH-01:~# apt-get update
root@CDH-01:~# curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -root@CDH-01:~# apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
Reading package lists... Done
Building dependency tree
Reading state information... Done
oracle-j2sdk1.7 is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-01:~#
apt-get install cloudera-manager-daemons cloudera-manager-server/usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p --scm-host localhost scm scm scm_password残りのエージェントノードの構成(CDH-01/CHD-02/CDH-03/CHD-04/CDH-05/CHD-06)
注意:CDH-01およびランニングサービス端はエージェント端を走ります
1 Clouderaダウンロードソースの構成
1.Save the appropriate Cloudera Manager list file(cloudera.list)for your system:(ソースファイルをダウンロード)
http://archive.cloudera.com/cm5/debian/squeeze/amd64/cm/cloudera.list
2. Copy the content of that file to the cloudera-manager.list file in the/etc/apt/sources.list.d/directory. (ディレクトリ//etc/apt/sources.list.d/下にコピー)
3.Update your system package index by running:(更新元)
root@CDH-01:~# apt-get update
root@CDH-01:~# curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -2 JAVA JDKのインストール
root@CDH-01:~# apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
Reading package lists... Done
Building dependency tree
Reading state information... Done
oracle-j2sdk1.7 is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 464 not upgraded.
root@CDH-01:~#
3 Cloudera Manager Agentパッケージのインストール
apt-get install cloudera-manager-daemons cloudera-manager-agent五まとめとテクニック
1 Clouderaはソース速度が遅く、パッケージのダウンロードが非常に遅い。クラスタ配置各マシンをダウンロードしてインストールし、クラッシュ!!!
テクニック:apt-getコマンドでClouder-Manager-server端子をインストールします.インストールが完了すると、aptのディレクトリの下に次のように表示されます.root@CDH-02:/var/cache/apt/archives# pwd
/var/cache/apt/archives
root@CDH-02:/var/cache/apt/archives# ls -l
total 506832
-rw-r--r-- 1 root root 87528 1 15 02:15 apache2_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 838694 1 15 02:15 apache2-bin_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 159820 1 15 02:15 apache2-data_2.4.7-1ubuntu4.9_all.deb
-rw-r--r-- 1 root root 5710492 2 17 06:42 cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
-rw-r--r-- 1 root root 507648498 2 17 06:42 cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
-rw-r--r-- 1 root root 596524 1 26 22:09 libmysqlclient18_5.5.47-0ubuntu0.14.04.1_amd64.deb
-rw-r--r-- 1 root root 80564 2 12 01:59 libpq5_9.3.11-0ubuntu0.14.04_amd64.deb
-rw-r--r-- 1 root root 826598 12 7 20:45 libssl1.0.0_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 1071744 12 7 20:45 libssl-dev_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 966428 12 7 20:45 libssl-doc_1.0.1f-1ubuntu2.16_all.deb
-rw-r----- 1 root root 0 2 19 2015 lock
-rw-r--r-- 1 root root 13484 1 26 22:09 mysql-common_5.5.47-0ubuntu0.14.04.1_all.deb
-rw-r--r-- 1 root root 562066 1 27 09:54 openssh-client_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 321004 1 27 09:54 openssh-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 34188 1 27 09:54 openssh-sftp-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
drwxr-xr-x 2 root root 4096 2 22 17:57 partial
-rw-r--r-- 1 root root 37056 10 1 01:04 rpcbind_0.2.1-2ubuntu2.2_amd64.deb
root@CDH-02:/var/cache/apt/archives#
apt-getを使用してインストールされたすべてのパッケージがここにあることがわかりました.
はい、apt-getがオンラインでインストールしたパッケージは、この(/var/cache/apt/archives)にキャッシュされます.
ここで必要なclouderaパッケージをclouderaをインストールする必要があるマシン上の対応するディレクトリ(/var/cache/apt/archives)にコピーするだけでいいです.
さらにapt-getコマンドを使用してインストールすると、パッケージがすでに存在していることに気づき、パッケージをダウンロードすることなく、直接インストールされ、パッケージをダウンロードする長い過程を省くことができます.
内
oracle-j2sdk1.7_1.7.0+update67-1_amd64.deb
cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
これらのパケットはダウンロードが非常に遅く、比較的大きく、これらのパケットだけをコピーすることができます.
2 CDHダウンロードが遅くて巨大(1.5 G)
テクニック:
オンラインは今ネットの速さを見て、ブロガーは会社のネットのダウンロードを使ってとても遅くて、基本的に1日ダウンロードします.
ネットワーク環境が良いことを前提に、オンラインでダウンロードすることができます.
また、オフラインダウンロードを選択し、ダウンロードツールを使用してCDHのオフラインパッケージをダウンロードし、指定したディレクトリに配置することもできます.
ダウンロード先:root@CDH-01:/opt/cloudera/parcel-repo# pwd
/opt/cloudera/parcel-repo
root@CDH-01:/opt/cloudera/parcel-repo# ls -l
total 1492724
-rw-r--r-- 1 root root 1528541128 2 26 08:54 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel
-rw-r--r-- 1 root root 41 2 26 08:52 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel.sha
root@CDH-01:/opt/cloudera/parcel-repo#
root@CDH-02:/var/cache/apt/archives# pwd
/var/cache/apt/archives
root@CDH-02:/var/cache/apt/archives# ls -l
total 506832
-rw-r--r-- 1 root root 87528 1 15 02:15 apache2_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 838694 1 15 02:15 apache2-bin_2.4.7-1ubuntu4.9_amd64.deb
-rw-r--r-- 1 root root 159820 1 15 02:15 apache2-data_2.4.7-1ubuntu4.9_all.deb
-rw-r--r-- 1 root root 5710492 2 17 06:42 cloudera-manager-agent_5.5.3-1.cm553.p0.1~trusty-cm5_amd64.deb
-rw-r--r-- 1 root root 507648498 2 17 06:42 cloudera-manager-daemons_5.5.3-1.cm553.p0.1~trusty-cm5_all.deb
-rw-r--r-- 1 root root 596524 1 26 22:09 libmysqlclient18_5.5.47-0ubuntu0.14.04.1_amd64.deb
-rw-r--r-- 1 root root 80564 2 12 01:59 libpq5_9.3.11-0ubuntu0.14.04_amd64.deb
-rw-r--r-- 1 root root 826598 12 7 20:45 libssl1.0.0_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 1071744 12 7 20:45 libssl-dev_1.0.1f-1ubuntu2.16_amd64.deb
-rw-r--r-- 1 root root 966428 12 7 20:45 libssl-doc_1.0.1f-1ubuntu2.16_all.deb
-rw-r----- 1 root root 0 2 19 2015 lock
-rw-r--r-- 1 root root 13484 1 26 22:09 mysql-common_5.5.47-0ubuntu0.14.04.1_all.deb
-rw-r--r-- 1 root root 562066 1 27 09:54 openssh-client_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 321004 1 27 09:54 openssh-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
-rw-r--r-- 1 root root 34188 1 27 09:54 openssh-sftp-server_1%3a6.6p1-2ubuntu2.6_amd64.deb
drwxr-xr-x 2 root root 4096 2 22 17:57 partial
-rw-r--r-- 1 root root 37056 10 1 01:04 rpcbind_0.2.1-2ubuntu2.2_amd64.deb
root@CDH-02:/var/cache/apt/archives#root@CDH-01:/opt/cloudera/parcel-repo# pwd
/opt/cloudera/parcel-repo
root@CDH-01:/opt/cloudera/parcel-repo# ls -l
total 1492724
-rw-r--r-- 1 root root 1528541128 2 26 08:54 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel
-rw-r--r-- 1 root root 41 2 26 08:52 CDH-5.5.2-1.cdh5.5.2.p0.4-trusty.parcel.sha
root@CDH-01:/opt/cloudera/parcel-repo#