MesosでHadoopを実行
MesosでHadoopを実行するには、コードを修正する必要があります.Mesos−0.9.0にはHadoop−0.205.0とpatchがある.私たちはMesosでHadoop-0.205.0を実行します.
1、配置環境
master: blade6
slaves: blade10 blade13
2、hadoopのインストール
このステップでは、サーバが外部ネットワークに接続されていることを保証する必要があります.Mesosのインストールディレクトリがであると仮定し、/hadoopディレクトリの下に入り、./UTORAL.shを実行し、ずっと車に戻ります.
実行後、ディレクトリの下に2つのファイル/protobuf-2.4.1.jar、/src/mesos-0.9.0.jarを見つけて実行します.
3、プロファイルの変更
ほとんどのプロファイルはhadoopと同じです.「Hadoopデプロイメント実行」を参照してください.http://speakingbaicai.blog.51cto.com/5667326/1221932、区別は主にmapred-site.xml、hadoop-env.shの2つのファイルです.
(1) mapred-site.xml
(2) conf/hadoop-env.sh
4、Hadoopを起動する
(1)hdfsの起動
(2)jobtrackerを起動する(tasktrackerを起動する必要はない)
その後hadoopのようにジョブをコミットできます
本文は“話す白菜”のブログから出て、転載をお断りします!
1、配置環境
master: blade6
slaves: blade10 blade13
2、hadoopのインストール
このステップでは、サーバが外部ネットワークに接続されていることを保証する必要があります.Mesosのインストールディレクトリが
実行後、
cp <mesos>/protobuf-2.4.1.jar<mesos>/hadoop/hadoop-0.20.205.0
cp<mesos>/src/mesos-0.9.0.jar <mesos>/hadoop/hadoop-0.20.205.03、プロファイルの変更
ほとんどのプロファイルはhadoopと同じです.「Hadoopデプロイメント実行」を参照してください.http://speakingbaicai.blog.51cto.com/5667326/1221932、区別は主にmapred-site.xml、hadoop-env.shの2つのファイルです.
(1) mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>blade6:19101</value>
<!--<value>localhost:54311</value>-->
<!-- Default Port: 9001. -->
</property>
<property>
<name>mapred.jobtracker.taskScheduler</name>
<value>org.apache.hadoop.mapred.MesosScheduler</value>
</property>
<property>
<name>mapred.mesos.master</name>
<value>blade6:5050</value>
</property>
</configuration>(2) conf/hadoop-env.sh
exportHADOOP_HOME=/home/wangmin/mesos/mesos-0.9.0/hadoop/hadoop-0.20.205.0/
# Google protobuf (necessary for runningthe MesosScheduler).
exportPROTOBUF_JAR=${HADOOP_HOME}/protobuf-2.4.1.jar
# Mesos.
exportMESOS_JAR=${HADOOP_HOME}/mesos-0.9.0.jar
# Native Mesos library.
exportMESOS_NATIVE_LIBRARY=/home/wangmin/mesos/mesos-0.9.0/src/.libs/libmesos.so
# The java implementation to use. Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
exportJAVA_HOME=/etc/alternatives/java_sdk_1.6.0
# Extra Java CLASSPATH elements. Optional.
exportHADOOP_CLASSPATH=${HADOOP_HOME}/build/contrib/mesos/classes:${MESOS_JAR}:${PROTOBUF_JAR}
export HADOOP_HOME_WARN_SUPPRESS=TRUE4、Hadoopを起動する
(1)hdfsの起動
bin/start-dfs.sh(2)jobtrackerを起動する(tasktrackerを起動する必要はない)
bin/hadoop jobtrackerその後hadoopのようにジョブをコミットできます
本文は“話す白菜”のブログから出て、転載をお断りします!