Hadoop理解と運用（二）

java作成hdfsプログラム
1、hdfsシステムは、使用するデータをcore-site.xmlに格納します。hadoop.tmp.dirによって指定されますが、この値はデフォルトでは/tmp/hadoop-$下にあります。/tmpディレクトリはシステム再起動時に削除されるので、ディレクトリの位置を変更するべきです。coree-site.xmlを修正（すべてのサイトで修正）

1 
2      hadoop.tmp.dir
3      /var/hadoop
4 

2、hdfs namenode-format（フォーマットHadoopファイルシステム）を通じて

hdfs namenode -format

3、javaプログラムでhdfsにアクセスしたら、HFSクラスタを大きなシステムディスクとして使えばいいです。4、windows上のパーミッションシステムとlinux上のパーミッションシステム、テスト期間は簡単のために権限をオフにして、namenodeのhdfs-site.xml上で確認できます。構成を追加します。

1 
2       dfs.permissions.enabled
3       false
4       

5、新たにnamenodeを起動する：

hadoop-daemon.sh stop namenode
hadoop-daemon.sh start namenode

6、HFSからファイルを読み出す

1 URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());
2 InputStream in =newURL(
 "[hdfs://192.168.56.100:9000/test.data]
  (hdfs://192.168.56.100:9000/test.data)"
  ).openStream();
3 IOUtils.copyBytes(in, System.out,4096,true);