hadoop擬似分布モード

hadoopの各コンポーネントはXMLファイルで構成されています.core-site.xmlファイルはCommonコンポーネントのプロパティ、hdfs-siteを構成するために使用されます.xmlファイルはHDFS属性を構成するために使用され、mapred-site.xmlファイルは、MapReduceプロパティを構成するために使用されます.これらのプロファイルはconfサブディレクトリに配置されます.
hadoopの動作モードは3種類あります.
1)独立モード:本機モードでテストとデバッグを行い、開発段階に適用する.
2)擬似分布モード:hadoopデーモンプロセスがネイティブで実行され、小規模なクラスタをシミュレートします.
3)フル分散モード:デーモンプロセスはクラスタ上で実行され、生産モードである.
 
次に、擬似分布パターンについて説明します.
core-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

 hdfs-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		 <name>dfs.replication</name>
		 <value>1</value>
	</property>
</configuration>

 mapred-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:8021</value>
	</property>
</configuration>

HDFSファイルシステムのフォーマット
HDFSファイルシステムのフォーマットは非常に便利で、1つのコマンドしか必要ありません.
hadoop namenode -format
デーモンプロセスの開始と終了
HDFおよびMapReduceデーモンプロセスを開始するには、次のコマンドを入力します.
start-dfs.sh
start-mapred.sh
または、次のいずれかの操作を行います.
start-all.sh
ローカルでは、3つのデーモンプロセスが開始されます.1つのnamenode、1つのセカンダリnamenode、および1つのdatanodeです.logsディレクトリのログファイルを参照して、デーモンが正常に起動したかどうかを確認するか、Webインタフェースを使用します.http://localhost:500030jobtrackerを表示するか、http://localhost:50070namenodeを表示します.またjavaのjpsコマンドでは、デーモンが実行されているかどうかを確認できます.
デーモンプロセスの終了:
stop-dfs.sh
stop-mapred.sh