Hadoop SecenceFileは複数の小さなファイルを処理します

複数の小さなファイルをsequenceFileでパッケージ化します.MapFileはsequenceFileのソート形式です.プログラムは次のとおりです.
 

public class testSequenceFile {

	public static void main(String[] args) throws IOException{
		Configuration conf = new Configuration();
		
		FileSystem fs = FileSystem.get(conf);
		FileStatus[] files = fs.listStatus(new Path(args[0]));
		
		Text key = new Text();
		Text value = new Text();
		SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, new Path(args[1]),key.getClass() , value.getClass());
		InputStream in = null;
		byte[] buffer = null;
		
		for(int i=0;i<files.length;i++){
			key.set(files[i].getPath().getName());
			in = fs.open(files[i].getPath());
			buffer = new byte[(int) files[i].getLen()];
			IOUtils.readFully(in, buffer, 0, buffer.length);
			value.set(buffer);
			IOUtils.closeStream(in);
			System.out.println(key.toString()+"
"+value.toString());
			writer.append(key, value);
		}	
		
		IOUtils.closeStream(writer);
	}
}

 
 
 
ここで注意したいのは、sequenceFileはバイナリファイルであり、cat more lessのようなコマンドではシーケンスファイルの内容をテキスト形式で表示することはできません.fsコマンドの-textオプションを使用する必要があります.このオプションは、ファイルのコードを表示し、ファイルのタイプを検出し、適切にテキストに変換することができます.
 

KeXie@KeXie-PC ~/hadoop-0.20.2
$ hadoop fs -cat soutput
SEQorg.apache.hadoop.io.Textorg.apache.hadoop.io.Text*org.apache.hadoop.io.compress.DefaultCodec▒A▒=▒▒=U▒2▒,a.txtx▒▒▒L▒,*▒▒,,M▒▒▒▒<▒A#b.txtx▒▒L▒H▒▒▒y▒\▒▒▒y▒\@6n:c.txtx▒▒+*▒▒,,M▒▒▒▒%▒▒
KeXie@KeXie-PC ~/hadoop-0.20.2
$ hadoop fs -text soutput
a.txt   xie     chen     liang
quan
b.txt   chen    chen    wen
an
wen
c.txt   mo     an
an