HDFSとローカルファイルシステムファイルの相互接続

1093 ワード

一、ローカルファイルシステムからHDFSへhdfsが持つコマンドコマンドを使用する:hdfs dfs -copyFromLocal inputPath outputPath inputPath:ローカルファイルディレクトリのパスoutputPath:hdfsファイルディレクトリパス、すなわちストレージパス2、HDFSからローカルファイルシステムコマンド:hdfs dfs -copyToLocal inputPath outputPath inputPath:hdfsファイルディレクトリoutputPath:ローカルファイルファイルディレクトリすなわち、ローカルストレージパスは、HbasとHiveの両方がHDFSに格納されているため、このコマンドによりHbaseとHiveがHDFSに格納されているファイルをコピーすることができる.しかし、実際には、このような方法でコピーされたHbaseファイルは文字化けしている.Hiveのファイルは、Hiveデータの挿入方法によっては文字化けしてしまうこともあります.三、ファイルのHDFS内での移動1、HbaseテーブルからHDFSコマンドへのエクスポート:hbase org.apache.hadoop.hbase.mapreduce.Export tableName outputPaht例:hbase org.apache.hadoop.hbase.mapreduce.Export test /user/data testはHbaseからエクスポートする必要があるテーブルであり、/user/dataはhdfs上のパス、すなわちストレージパスであり、最後のパラメータに接頭辞file://がある場合はローカル上のファイルストレージシステム2、HDFSからHbaseテーブルにインポートされ、テーブル構造命令:hbase org.apache.hadoop.hbase.mapreduce.Export tableName inputPaht例:hbase org.apache.hadoop.hbase.mapreduce.Import test1 /temp/part-m-00000を事前に確立する必要がある
前述のブログでは、Hiveの外部テーブルと管理テーブルの運用によりHbaseの中のテーブルをエクスポートでき、文字化けしません.