Clouder Hadoopクラスタインストール部署、cdh 3 u 6、Ubuntu 12.04

5175 ワード

配置環境
OS:Ubuntu 12.04 Server
Hadoop:CDH 3 U 6
マシンリスト：namenode 192.168.71.46；datanode 192.168.71.202,192.168.71.203,192.168.71.204
Hadoopをインストール
ソフトウェアソースを追加
/etc/appt/sources.list.d/clouder a-3 u 6.list
挿入
deb http://192.168.52.100/hadoop maverick-cdh 3 contrib deb-src http://192.168.52.100/hadoop maverick-cdh 3 contrib
GPG Keyを追加し、実行します。

curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -

更新
ap-get udate
namenodeにhadoop-020-namenodeとjobtrocerをインストールします。
ap-get install-y--force-yes hadoop-02 0-namenode hadoop-0-jobtrocer
datanodeにhadoop-020-datanodeとtaskytrocerをインストールします。
ap-get install-y--force-yes hadoop-02 0-datanode hadoop-0.20-taskytrocer
SSH登録無し設定
namendoeマシンで実行
shh-keygen-t rsa
途中で車を返すと、~/.sshフォルダの下に生まれるid_。rsa.pbの内容は他のdatanodeマシンの/root/.ssh/authorized_にコピーされます。keysファイルの末尾は、他のマシンにこのファイルがない場合は自分で手動で作成します。
Hadoopストレージディレクトリを作成し、ownerを変更します。
mkdir/opt/hadoop
chown hdfs:hadoop/op/hadoop
mkdir/opt/hadoop/mapred
chown mapred：hadoop/op/hadoop/mapred
プロファイルを変更して配布します。
修正/etc/hadoop/conf/coree-site.xmlは

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.71.46:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop</value>
</property>
</configuration>

修正/etc/hadoop/conf/hdfs-site.xmlは

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.balance.bandwidthPerSec</name>
    <value>10485760</value>
  </property>
  <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/opt/hadoop/dfs/data</value>
  </property>
  <property>
    <name>dfs.datanode.max.xcievers</name>
    <value>4096</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
</configuration>

修正/etc/hadoop/conf/mapred-site.xmlは

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx1024m</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>192.168.71.46:8021</value>
  </property>
  <property>
    <name>mapred.jobtracker.taskScheduler</name>
    <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value>
  </property>
  <property>
    <name>mapred.queue.names</name>
    <value>default,extract</value>
  </property>
  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>44</value>
  </property>
  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>22</value>
  </property>
  <property>
    <name>mapred.local.dir</name>
    <value>/opt/hadoop/mapred/local</value>
  </property>
  <property>

    <name>mapred.system.dir</name>
    <value>/user/mapred/system</value>
  </property>
  <property>
    <name>mapreduce.jobtracker.staging.root.dir</name>
    <value>/user/mapred/staging</value>
  </property>
  <property>
    <name>mapred.temp.dir</name>
    <value>/user/mapred/temp</value>
  </property>
</configuration>

confフォルダを配信するdatanodeマシンです。
scp-r/etc/hadoop/[email protected]:/etchadoop/conf
scp-r/etc/hadoop/[email protected]:/etchadoop/conf
scp-r/etc/hadoop/[email protected]:/etchadoop/conf
limit設定vi/etc/security/limits.com nf これらのフィールドを追加* ソフトノーファイ 65535* hard ノーファイ 1313070 root ソフトノーファイ 65535 root hard ノーファイ 1313137070 hdfs ソフトノーファイ 65535 hdfs hard ノーファイ 13131700 mapred ソフトノーファイ 65535 mapred hard ノーファイ 13137070
hostsとhostname設定
修正/etc/hostsにクラスタのすべてのマシンのhostnameと対応するIPを追加します。
ログイン
http://192.168.71.46:50070
参照
Clouderを利用して、Hadoopを実現します。
cdh 3 installingガイド

String類Strigbuffer類の簡単な方法

String index out of range:-1