Hadoop 1.xプログラムをHadoop 2.xにアップグレードするために必要な依存ライブラリ、Canot initialize Custer.Please check your configration for ma
5680 ワード
公式文書によると(Apache Hadoop MapReduce-Migrating from Aache Hadoop 1.x to Apache Hadoop 2.x:http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduce_Compatibility_Hadoop1_Hadoop2.html)Hadoop 2.xはHadoop 1.xプログラムに対応しています。Hadoop 2.xはHadoop 1.xに対して重要な構造調整をしていますので、多くのプログラム依存ライブラリが分割されていますので、以前の依存ライブラリはもう利用できなくなりました。
Maven管理に依存するクラスではない場合は、それぞれ$hadoop-mapreduce-client-jobclient-2.2.jarと上の4つの依存はちょうど対応しています。
過去の記憶から転載する(http://www.iteblog.com/)
本論文のリンク先:「Hadoop 1.xプログラムはHadoop 2.x必要な依存ライブラリにアップグレードする」(http://www.iteblog.com/archives/840)
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>
2.2
.
0
・</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>
2.2
.
0
・</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>
2.2
.
0
・</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>
2.2
.
0
・</version>
</dependency>
</dependencies>
覚えています
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>
2.2
.
0
・</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>
2.2
.
0
・</version>
</dependency>
プログラムを実行している時に異常が発生します。
Exception in thread
"main"
java.io.IOException: Cannot initialize Cluster.
Please check your configuration
for
・mapreduce.framework.name and the
correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:
120
・)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:
82
・)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:
75
・)
at org.apache.hadoop.mapred.JobClient.init(JobClient.java:
465
・)
at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:
444
・)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:
826
・)
at com.wyp.hadoop.MaxTemperature.main(MaxTemperature.java:
41
・)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke
(NativeMethodAccessorImpl.java:
57
・)
at sun.reflect.DelegatingMethodAccessorImpl.invoke
(DelegatingMethodAccessorImpl.java:
43
・)
at java.lang.reflect.Method.invoke(Method.java:
606
・)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:
120
・)
簡単なMapreuceプログラムは「簡単なMapreuceプログラムを作成し、Hadoop 2.2.0で実行する」を参照してください。Maven管理に依存するクラスではない場合は、それぞれ$hadoop-mapreduce-client-jobclient-2.2.jarと上の4つの依存はちょうど対応しています。
過去の記憶から転載する(http://www.iteblog.com/)
本論文のリンク先:「Hadoop 1.xプログラムはHadoop 2.x必要な依存ライブラリにアップグレードする」(http://www.iteblog.com/archives/840)