Hadoop擬似分散構成とEclipseとの統合開発に注意すべき問題
1773 ワード
私が使っているHadoopバージョンは1.1.2で、システムはUbuntu 12.04です.
一、Hadoop擬似分布配置:まずHadoop配置文書conf/hadoop-envを修正する.sh中のJDKの経路は、9行目にある.
confファイルの下のmapred-siteを構成します.xml core-site.xml hdfs-site.xmlの3つのファイル;
sshはパスワードがなくて登録して、ネット上の方法はとても多いです;
テスト
この5つのプロセスが不完全である場合、その3つのプロファイルがエラーであるか、ipアドレスの問題(結局プロファイルの問題なのか)、ect/hostsにlocalhost 127.0.0.1を入力してシステムシステムが自動的にipを取得するように設定してもよい.そうしないとmapred-siteを構成する.xmlとcore-site.xmlファイルの場合、localhostは使えません.ipアドレスを明確に使うべきです.
二、Hadoop-Eclipse-pluginプラグインコンパイル:
hadoop-1 Xバージョン以降、既存のhadoop-eclipse-pluginプラグインは提供されていません.自分でコンパイルする必要があります.ネット上で検索できるコンパイル方法はたくさんあります.いくつか試したことがありますが、どれも役に立つわけではありません.
私が使っているのはこれのようです.http://www.linuxidc.com/Linux/2013-04/83295.htm
注意してください.
(1)、hadoopバージョンを修正する30行ほど:と://追加
この2つの文は、私はそのようにして、最后に生成したプラグインが1.1.3バージョンであることを発见して、どうせ使うことができて、私も気にしていません.もし違和感があれば、以上の2つの場所を1.1.2に変えてみてください.また、コンパイル中にエラーが発生した場合、まだ良い解決方法はありません.
注意しなければならないのは、私たちが制御できるのは、eclipseのインストールパスで、Ubuntuソフトウェアセンターでインストールしたeclipseをダウンロードして、私はどこに置いたのか分かりません.gzパッケージは自分で詰めて、それからコンパイルに成功しました...
三、eclipseとの統合開発:
ネット上にもこのような文章がたくさんあります.hadoopを構成するときはhadoopの2つのxmlファイルに対応すればいいです.
問題:
eclipseでhadoopを接続すると、List folder contentが表示されます.
Cannot connect to the Map/Reduce location: MyHadoop Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException:接続を拒否する
このような問題は、可能な原因です.
1、hadoopは配置がよくなくて、第1歩の設定の時に排除することができます;
2、hadoopは起動していません.起動する前にbin/hadoop namenode-formatをフォーマットしてstart-allにしたほうがいいです.sh
3、その他の原因、例えばeclipseのhadoop配置が設定されていないなど
PS:最近hadoopを勉强して、良い学习の提案あるいはdemoプロジェクトがあって、どうぞ多く交流してください!
一、Hadoop擬似分布配置:まずHadoop配置文書conf/hadoop-envを修正する.sh中のJDKの経路は、9行目にある.
confファイルの下のmapred-siteを構成します.xml core-site.xml hdfs-site.xmlの3つのファイル;
sshはパスワードがなくて登録して、ネット上の方法はとても多いです;
テスト
$ bin/hadoop namenode -format // hdfs
$ bin/start-all.sh //
$ jps // 5 ：NameNode，DataNode，JobTracker，TaskTracker，SecondaryNameNodeこの5つのプロセスが不完全である場合、その3つのプロファイルがエラーであるか、ipアドレスの問題(結局プロファイルの問題なのか)、ect/hostsにlocalhost 127.0.0.1を入力してシステムシステムが自動的にipを取得するように設定してもよい.そうしないとmapred-siteを構成する.xmlとcore-site.xmlファイルの場合、localhostは使えません.ipアドレスを明確に使うべきです.
二、Hadoop-Eclipse-pluginプラグインコンパイル:
hadoop-1 Xバージョン以降、既存のhadoop-eclipse-pluginプラグインは提供されていません.自分でコンパイルする必要があります.ネット上で検索できるコンパイル方法はたくさんあります.いくつか試したことがありますが、どれも役に立つわけではありません.
私が使っているのはこれのようです.http://www.linuxidc.com/Linux/2013-04/83295.htm
注意してください.
(1)、hadoopバージョンを修正する30行ほど:と://追加
この2つの文は、私はそのようにして、最后に生成したプラグインが1.1.3バージョンであることを発见して、どうせ使うことができて、私も気にしていません.もし違和感があれば、以上の2つの場所を1.1.2に変えてみてください.また、コンパイル中にエラーが発生した場合、まだ良い解決方法はありません.
注意しなければならないのは、私たちが制御できるのは、eclipseのインストールパスで、Ubuntuソフトウェアセンターでインストールしたeclipseをダウンロードして、私はどこに置いたのか分かりません.gzパッケージは自分で詰めて、それからコンパイルに成功しました...
三、eclipseとの統合開発:
ネット上にもこのような文章がたくさんあります.hadoopを構成するときはhadoopの2つのxmlファイルに対応すればいいです.
問題:
eclipseでhadoopを接続すると、List folder contentが表示されます.
Cannot connect to the Map/Reduce location: MyHadoop Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException:接続を拒否する
このような問題は、可能な原因です.
1、hadoopは配置がよくなくて、第1歩の設定の時に排除することができます;
2、hadoopは起動していません.起動する前にbin/hadoop namenode-formatをフォーマットしてstart-allにしたほうがいいです.sh
3、その他の原因、例えばeclipseのhadoop配置が設定されていないなど
PS:最近hadoopを勉强して、良い学习の提案あるいはdemoプロジェクトがあって、どうぞ多く交流してください!