HDFSとローカルファイルシステムファイルの相互接続
1093 ワード
一、ローカルファイルシステムからHDFSへhdfsが持つコマンドコマンドを使用する:
前述のブログでは、Hiveの外部テーブルと管理テーブルの運用によりHbaseの中のテーブルをエクスポートでき、文字化けしません.
hdfs dfs -copyFromLocal inputPath outputPath
inputPath:ローカルファイルディレクトリのパスoutputPath:hdfsファイルディレクトリパス、すなわちストレージパス2、HDFSからローカルファイルシステムコマンド:hdfs dfs -copyToLocal inputPath outputPath
inputPath:hdfsファイルディレクトリoutputPath:ローカルファイルファイルディレクトリすなわち、ローカルストレージパスは、HbasとHiveの両方がHDFSに格納されているため、このコマンドによりHbaseとHiveがHDFSに格納されているファイルをコピーすることができる.しかし、実際には、このような方法でコピーされたHbaseファイルは文字化けしている.Hiveのファイルは、Hiveデータの挿入方法によっては文字化けしてしまうこともあります.三、ファイルのHDFS内での移動1、HbaseテーブルからHDFSコマンドへのエクスポート:hbase org.apache.hadoop.hbase.mapreduce.Export tableName outputPaht
例:hbase org.apache.hadoop.hbase.mapreduce.Export test /user/data
testはHbaseからエクスポートする必要があるテーブルであり、/user/dataはhdfs上のパス、すなわちストレージパスであり、最後のパラメータに接頭辞file://
がある場合はローカル上のファイルストレージシステム2、HDFSからHbaseテーブルにインポートされ、テーブル構造命令:hbase org.apache.hadoop.hbase.mapreduce.Export tableName inputPaht
例:hbase org.apache.hadoop.hbase.mapreduce.Import test1 /temp/part-m-00000
を事前に確立する必要がある前述のブログでは、Hiveの外部テーブルと管理テーブルの運用によりHbaseの中のテーブルをエクスポートでき、文字化けしません.