私のhadoopビッグデータの道（二）

この二日間会社の年次総会は何か遅れました。二日間勉強していません。今日はビッグデータを続けます。ここで問題が発生して、長い間遅れました。詳しく説明します。
    hadoopのインストールパッケージの中のconfディレクトリは多くの構成がありますが、その中の3つのファイルを修正するだけでいいです。coree-site.xml、hdfs-site.xmlとmapred-site.xml。
    1、まずcoree-site.xmlファイルを修正します。

<configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
  </property>
</configuration>

これはhadoopのコア構成です。少なくともHFSのアドレスとポート番号を設定する必要があります。以上は最も簡単な構成方法です。ここで詳しく説明します。fs.default.nameはNameNodeのIPアドレスとポート番号を指定するために使用されます。local hostはHFS NameNodeのアドレスで、9000はHFSのNameNode RPCインタラクティブポートです。
     2、hdfs-site.xmlを配置する
ここでは主にHFSの関連属性パラメータを構成しています。簡単な構成は以下の通りです。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/moon/hdfs-filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/moon/hdfs-filesystem/data</value>
</property>
</configuration>

     ここのmoonは私のユーザーです。ファイルを全部入れることを勧めています。以前は他のファイルに入れていましたが、まだ権限がありません。ずっとpermission deniedです。dfs.replicationは、HFSの各ブロックがコピーされる回数を指定して、データ冗長バックアップの役割を果たします。通常は3に設定されていますが、ここは偽分散式で、ノードは一つしかなく、一回に1に設定されています。dfs.name.dirは、HFSのNameNodeのメタデータをコンマで区切って、HFSは、メタデータの冗長性をこれらのディレクトリにコピーします。dfs.data.dirは、HFSのDataNodeのデータディレクトリを設定するために使用され、これらのディレクトリの下にデータが存在します。
      3、map-site.xmlの配置

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

mapred.job.trackerはMapReduce Jobtrackerのipアドレスとポート番号であり、local hostはMapReduce Jobtrocerのアドレスであり、9001はMapReduce Jobtrocer RPCインタラクティブポートである。
その後、ファイルシステムをフォーマットするためにhadoop namenode-formatを直接使用します。そしてstart-all.shが起動します。ok第二部分は終了します。