Hadoop 2.x擬似分散環境構築の詳細手順

本稿では、Hadoop 2について、図面を組み合わせて詳細に説明する.x擬似分布式環境構築の全過程、参考に供し、具体的な内容は以下の通りである.
1、hadoop-envを修正する.sh、yarn-env.sh、mapred-env.sh
方法:notepad++(beifengユーザー)を使用してこの3つのファイルを開く
コードの追加:export JAVA_HOME=/opt/modules/jdk1.7.0_67
2、core-siteを修正する.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xmlプロファイル
1)core-siteを修正する.xml

　　
　　　　fs.defaultFS
　　　　hdfs://Hadoop-senior02.beifeng.com:8020
　　
　　
　　　　hadoop.tmp.dir
　　　　/opt/modules/hadoop-2.5.0/data
　　

2)hdfs-siteを修正する.xml

　　
　　　　dfs.replication
　　　　1
　　
　　
　　　　dfs.namenode.http-address
　　　　Hadoop-senior02.beifeng.com:50070
　　

3)yarn-siteを修正する.xml

　　
　　　　yarn.nodemanager.aux-services
　　　　mapreduce_shuffle
　　
　　
　　　　yarn.resourcemanager.hostname
　　　　Hadoop-senior02.beifeng.com
　　
　　
　　　　yarn.log-aggregation-enable
　　　　true
　　
　　
　　　　yarn.log-aggregation.retain-seconds
　　　　86400
　　

4)mapred-siteを修正する.xml

　　
　　　　mapreduce.framework.name
　　　　yarn
　　
　　
　　　　mapreduce.jobhistory.webapp.address
　　　　0.0.0.0:19888
　　

3、hdfsを起動する
1)フォーマットnamenode:$bin/hdfs namenode-format
2)namenode:$sbin/hadoop-daemonを起動します.sh start namenode
3)datanode:$sbin/hadoop-daemonを起動します.sh start datanode
4)hdfsモニタリングwebページ:http://hadoop-senior02.beifeng.com:50070
4、yarnを起動する
1)resourcemanager:$sbin/yarn-daemonを起動します.sh start resourcemanager
2)nodemanager:sbin/yarn-daemonを起動する.sh start nodemanager
3)yarnモニタwebページ:http://hadoop-senior02.beifeng.com:8088
5、wordcount jarパッケージのテスト
1)位置決め経路:/opt/modules/hadoop-2.5.0
2)コードテスト:bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount/input/sort.txt/output6/
プロセスの実行:
16/05/08 06:39:13 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-senior02.beifeng.com/192.168.241.130:8032 16/05/08 06:39:15 INFO input.FileInputFormat: Total input paths to process : 1 16/05/08 06:39:15 INFO mapreduce.JobSubmitter: number of splits:1 16/05/08 06:39:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1462660542807_0001 16/05/08 06:39:16 INFO impl.YarnClientImpl: Submitted application application_1462660542807_0001 16/05/08 06:39:16 INFO mapreduce.Job: The url to track the job: http://Hadoop-senior02.beifeng.com:8088/proxy/application_1462660542807_0001/16/05/08 06:39:16 INFO mapreduce.Job: Running job: job_1462660542807_0001 16/05/08 06:39:36 INFO mapreduce.Job: Job job_1462660542807_0001 running in uber mode : false 16/05/08 06:39:36 INFO mapreduce.Job: map 0% reduce 0% 16/05/08 06:39:48 INFO mapreduce.Job: map 100% reduce 0% 16/05/08 06:40:04 INFO mapreduce.Job: map 100% reduce 100% 16/05/08 06:40:04 INFO mapreduce.Job: Job job_1462660542807_0001 completed successfully 16/05/08 06:40:04 INFO mapreduce.Job: Counters: 49
3)結果表示:bin/hdfs dfs-text/output 6/par*
実行結果:
hadoop 2 jps 1 mapreduce 2 yarn 1
6、MapReduce履歴サーバー
1)起動:sbin/mr-jobhistory-daemon.sh start historyserver
2)web uiインタフェース:http://hadoop-senior02.beifeng.com:19888
7、hdfs、yarn、mapreduce機能
1)hdfs:分散ファイルシステム、高許容誤り性のファイルシステム、安価な機械に配置するのに適している.
HDfsは主従構造で、namenodeとdatanodeに分けられ、ここでnamenodeはネーミングスペース、datanodeはストレージスペース、datanodeはデータブロックの形でストレージされ、各データブロック128 M
2)yarn:汎用資源管理システムで、上層応用に統一的な資源管理とスケジューリングを提供する.
yarnはresourcemanagerとnodemanagerに分けられ、resourcemanagerはリソースのスケジューリングと割り当てを担当し、nodemanagerはデータ処理とリソースを担当します.
3)mapreduce:MapReduceは計算モデルであり,Map(マッピング)とReduce(帰約)に分けられる.
mapは各行のデータ処理後、キー値ペアの形で現れ、reduceに伝達する.reduceはmapから送られてきたデータをまとめ、統計します.
以上が本文のすべての内容で、みんなの学習に役立つことを望みます.