Hadoop 2.6-CDH 5.7導入インストール
2265 ワード
cdhアドレス
http://archive-primary.cloudera.com/cdh5/cdh/5/
sudo権限を追加するパスワードなしアクセスのhadoopユーザー
ダウンロード
構成の変更
まずjdk 1.7が必要です
etc/hadoop/hadoop-env.shファイルの変更
etc/hadoop/core-site.xmlを変更します.
etc/hadoop/hdfs-site.xmlを変更します.
etc/slavesファイルの変更
ssh機密保護の構成
初期フォーマットhdfs
[hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ bin/hdfs namenode -format
hdfsの起動
[hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ sbin/start-dfs.sh
jps表示プロセス
Web ui表示
http://archive-primary.cloudera.com/cdh5/cdh/5/
sudo権限を追加するパスワードなしアクセスのhadoopユーザー
# useradd hadoop
# vi /etc/sudoers
hadoop ALL=(root) NOPASSWD:ALL
# su - hadoop
ダウンロード
[hadoop@hadoop000 softwore]$ wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop@hadoop000 app]$ tar -zxvf ../softwore/hadoop-2.6.0-cdh5.7.0.tar.gz
構成の変更
まずjdk 1.7が必要です
[root@hadoop000 jdk1.7.0_80]# echo $JAVA_HOME
/usr/java/jdk1.7.0_80
etc/hadoop/hadoop-env.shファイルの変更
hadoop-env.sh java_home
export JAVA_HOME=/usr/java/jdk1.7.0_80
HADOOP_PREFIX
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
etc/hadoop/core-site.xmlを変更します.
fs.defaultFS
hdfs://hadoop:9000
etc/hadoop/hdfs-site.xmlを変更します.
dfs.replication
1
etc/slavesファイルの変更
hadoop
ssh機密保護の構成
.ssh
# rm -rf .ssh
ssh
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
authorized_keys
chmod 600 authorized_keys
初期フォーマットhdfs
[hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ bin/hdfs namenode -format
hdfsの起動
[hadoop@hadoop000 hadoop-2.6.0-cdh5.7.0]$ sbin/start-dfs.sh
jps表示プロセス
Web ui表示