hadoop単機転偽分布ノート

一、擬似分布(Pseudo-Distributed)と分布式(Fully-Distributed)の違い
hadoopはネットワーククラスタで実行されるソフトウェアであることを知っています.このクラスタにはmasterノード(論理上のノードは2つの物理ノードを含む)とnodeノード(複数のnamenodeノードとdatanodeノードを含む)がある.すなわち,分散hadoopプログラムのテストと実行には,複数のホストが参加しなければならない.では、これはソフトウェアの作成に大きな不便をもたらしました.このような状況下でhadoopは擬似分布の概念を打ち出した.
簡単に言えば、擬似分布は1台のホスト上でhadoopプログラムを実行することです.各ノードの機能はjavaプロセスによって完了します.擬似分散環境では,実際には1台のホストがコード実行と計算機能を行っている.
 
二、擬似分布の配置
スタンドアロン版の構成が完了した場合は、次の構成を行います.
1)conf/core-siteを配置する.xmlファイル:

      <property>


          <name>fs.default.name</name>


        <value>hdfs://localhost:9000</value>


     </property>


 </configuration>


 

 

hadoop

 （

File System

） 

URL

 ， 

9000


 2

） 
conf/hdfs-site.xml
 ：

dfs.tem.dir
/home/tangli/hadoop/tem

 

dfs.name.dir
/home/tangli/hadoop/name

 

dfs.data.dir
/home/tangli/hadoop/data

 
 

dfs.replication
1

 

最初の3つは、擬似分布実行下のバッファファイルディレクトリアドレス、namenodeファイルディレクトリアドレス、datanodeファイルディレクトリアドレス、その値カスタム設定をそれぞれ構成します.最後の構成データバックアップ数は、任意に設定でき、1～3を推奨します.
注意:0.23.0以降のプロファイルはshare/hadoop/common/templates/confディレクトリの下にあります.
 
3)conf/mapred-siteを配置する.xmlファイル:


mapred.job.tracker
localhost:9001

 

JobTrakerアドレスの設定(ポート)
 
 
三、HDFSのフォーマット(重要):
hadoopのディレクトリに入り、コマンドを実行します.
$ sudo bin/hadoop namenode -format
 
四、hadoop保護プログラムを起動し、すなわち偽分布下のhadoopを起動する.
$ bin/start-all.sh
保護プログラムを起動した後、コマンド$jpsを実行すると、少なくとも以下の5つの内容が表示されます.
NameNode 、 SecondaryNameNode 、 JobTracker 、 TaskTracker 、 DataNode 、 Jps
 
よくあるエラーはNameNodeまたはDataNodeがないことです.欠落している場合はconf/hdfs-siteを確認します.xmlファイルが正しく構成されているかどうか、エラーが発生した場合は、変更後にHDFSを再フォーマットします.あるいは権限エラーで、namenodeファイルディレクトリアドレス、datanodeファイルディレクトリアドレスをチェックします.このディレクトリアイコンに小さなロックがある場合、現在のユーザーにディレクトリ権限がないことを示します.正しい権限を再付与してください.
 
五、hadoop保護プログラムの停止
$ bin/stop-all.sh