Ubuntu16.04 dockerでhadoopクラスタを構築する構成とテスト
hadoopクラスタの構成参照
https://blog.csdn.net/weixin_42051109/article/details/82744993
ここで補足します
1.Slave名の設定が必要
修正$HADOOP_HOME/etc/hadoopの下のslave、中にslaveの名前があって、slaveのホスト名に修正します
2.logの表示:
logファイルはhadoopディレクトリ(ミラーでは/usr/local/hadoop-2.7.5)のlogsでdebugに役立ちます.
Master(namenode)にはhadoop-root-namenode-Masterがあります.logとyarn-root-resourcemanager-Master.log(resource manager)
Slave 1/2(datanode)にはhadoop-root-datanode-Slave 1がある.logとyarn-root-nodemanager-Slave 1.log(node manager)
実行に失敗した場合、ロゴのERROR情報を見つけてGoogleを検索すると、一般的に答えが見つかります.
3.カードjob runningについて
初めてrun MapReduceをしたとき、カードjob runningの問題は非常に厄介だったかもしれません.間違いがないので、ほとんどの問題はlogで見つけることができます.例えば、私が詰まっている問題は2つのdatanodeが死んでいることに気づいたので、jobはrunの状態にとどまっています.このときdatanodeのロゴを見て、バグを見つけることができます
4.yarn-siteを構成する.xml
このコンフィギュレーションファイルにはリソース割り当てのコンフィギュレーションが提供されており、この文章を参考にしてよく書けます.
https://www.cnblogs.com/captainlucky/p/4610295.html
リファレンス
https://stackoverflow.com/questions/29131449/why-does-hadoop-report-unhealthy-node-local-dirs-and-log-dirs-are-bad
補足hadoopコマンド
ホスト内のファイルをdockerにコピーする
docker cp/home/boxian/hadoop/WordCount.jar 63daxxxx:/home/BigData/WordCount.jar
dockerのファイルをhdfsにコピーし、ここでputを使用します.
hadoop fs -put/home/BigData/WordCount/input/words.txt/input
hdfsのファイルをdockerにコピーしgetに使用
hadoop fs -get/output/part-r-00000 /home/BigData/WordCount/output/results
MapReduceを実行するjarファイル
hadoop jar WordCount.jar WordCount/input/output
(hadoop jar jarfile.jar Driver [args])
https://blog.csdn.net/weixin_42051109/article/details/82744993
ここで補足します
1.Slave名の設定が必要
修正$HADOOP_HOME/etc/hadoopの下のslave、中にslaveの名前があって、slaveのホスト名に修正します
2.logの表示:
logファイルはhadoopディレクトリ(ミラーでは/usr/local/hadoop-2.7.5)のlogsでdebugに役立ちます.
Master(namenode)にはhadoop-root-namenode-Masterがあります.logとyarn-root-resourcemanager-Master.log(resource manager)
Slave 1/2(datanode)にはhadoop-root-datanode-Slave 1がある.logとyarn-root-nodemanager-Slave 1.log(node manager)
実行に失敗した場合、ロゴのERROR情報を見つけてGoogleを検索すると、一般的に答えが見つかります.
3.カードjob runningについて
初めてrun MapReduceをしたとき、カードjob runningの問題は非常に厄介だったかもしれません.間違いがないので、ほとんどの問題はlogで見つけることができます.例えば、私が詰まっている問題は2つのdatanodeが死んでいることに気づいたので、jobはrunの状態にとどまっています.このときdatanodeのロゴを見て、バグを見つけることができます
4.yarn-siteを構成する.xml
このコンフィギュレーションファイルにはリソース割り当てのコンフィギュレーションが提供されており、この文章を参考にしてよく書けます.
https://www.cnblogs.com/captainlucky/p/4610295.html
local-dirs are bad ， が現れました
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
98.5
リファレンス
https://stackoverflow.com/questions/29131449/why-does-hadoop-report-unhealthy-node-local-dirs-and-log-dirs-are-bad
補足hadoopコマンド
ホスト内のファイルをdockerにコピーする
docker cp/home/boxian/hadoop/WordCount.jar 63daxxxx:/home/BigData/WordCount.jar
dockerのファイルをhdfsにコピーし、ここでputを使用します.
hadoop fs -put/home/BigData/WordCount/input/words.txt/input
hdfsのファイルをdockerにコピーしgetに使用
hadoop fs -get/output/part-r-00000 /home/BigData/WordCount/output/results
MapReduceを実行するjarファイル
hadoop jar WordCount.jar WordCount/input/output
(hadoop jar jarfile.jar Driver [args])