hadoop 2.xをコンパイルするhadoop-eclipse-pluginと構成

2047 ワード

一、コンパイル
1.jdkをインストールし、環境変数を構成します.
2.eclipseはダウンロードされ、構成されています.
3.antをインストールし、環境変数を構成します.
4.hadoopパッケージはwindowsローカルにすでにあり、hadoopクラスタ上のhadoopパッケージと同様に、eclipseがMapReduceを実行するときにローカルのhadoopパッケージを呼び出す必要があります.
5.hadoop 2 x-eclipse-pluginソースコードをダウンロードし、現在hadoop 2のeclipse-pluginsソースコードはgithubによって脱管され、ダウンロードアドレスは以下の通りである.https://github.com/winghc/hadoop2x-eclipse-pluginを選択し、右側のDownload ZIP接続でダウンロードをクリックし、hadoop 2 x-eclipse-plugin-master.zipを解凍します.
6.このステップはできるだけ先にしないで、直接コンパイルに成功するのが一番いいです.これを取り除くと問題が発生することがありますから.ネットワークを変えるとコンパイルに成功する場合があります.hadoop 2 x-eclipse-plugin-mastersrccontribeclipse-pluginディレクトリに切り替え、build.xmlファイルを変更し、
<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">

depends=「init,ivy-retrieve-common」を削除し、次のように変更します.
<target name="compile" unless="skip.contrib">

7.hadoop-eclipse-pluginプラグインをコンパイルし、コマンドラインcmdを開き、hadoop 2 x-eclipse-plugin-mastersrccontribeclipse-pluginに切り替える ディレクトリ、コマンドの実行:
ant jar -Dversion=2.6.0 -Declipse.home=E:\programs\eclipse -Dhadoop.home=E:\programs\hadoop-2.6.0

実行中にbuildディレクトリが見つからない場合がありますが、後で再実行してもいいですが、なぜか分かりません.
8.hadoop 2 x-eclipse-plugin-masterbuildcontribeclipse-pluginディレクトリの下でコンパイルされたパッケージを見つけます.
参考記事:windowsコンパイルhadoop 2.x Hadoop-eclipse-pluginプラグイン
二、配置
hadoopプラグインをインストールした後、hadoopプラグインを使用するように構成されています.linuxでhadoopをインストールするほか、eclipse開発コンピュータにもhadoopのインストールディレクトリが必要です.バージョンはクラスタと同じでなければなりません.
参考記事:Hadoopクラスタ(第7期)Eclipse開発環境の設定は、「2.4 Eclipseプラグイン開発構成」の小節に引いて、第2ステップから、第1ステップは省略できます.
新しいMap/Reduce locationsの構成
Map/Reduce(V2) Master
hadoop 1.x:mapred-site.xmlのmapreduce.jobtracker.addressに対応します.
hadoop 2.x:hdfs-site.xmlのmapred.job.tracker.http.addressに対応します.
注意:Map/Reduce(V 2)Masterのポートが間違っている場合があります.eclipseでプログラムを実行することができます.
DFS Master
hadoop 1.x:core-site.xmlのfs.default.nameに対応します.
hadoop 2.x:hdfs-site.xmlのdfs.namenode.rpc-addressに対応します.