HFSのJava APIのアクセス方法の実例コード

本論文で研究したのは主にHFSのJava APIのアクセス方式であり、具体的なコードは以下の通りであり、詳細な注釈がある。
最近はテンポが速いので、時間があればこれを包装してください。
コードを実現
インポートするパッケージ:

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

エンティティ方法:

/**
   *   HDFS    
   * @return
   * @throws IOException 
   * @throws URISyntaxException 
   */
public static FileSystem getFileSystem() throws IOException, URISyntaxException{
	//read config file
	Configuration conf = new Configuration();
	//        
	//   Hadoop     ，                  
	//FileSystem fs = FileSystem.get(conf);
	//         
	URI uri = new URI("hdfs://hy:9000");
	//         
	//       ，              
	FileSystem fs = FileSystem.get(uri, conf);
	return fs;
}
/**
   *       
   * @throws Exception
   */
public static void mkdir() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//      
	fs.mkdirs(new Path("hdfs://hy:9000/hy/weibo"));
	//    
	fs.close();
}
/**
   *           
   * @throws Exception
   */
public static void rmdir() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//          
	fs.delete(new Path("hdfs://hy:9000/hy/weibo"), true);
	//    
	fs.close();
}
/**
   *          
   * @throws Exception
   */
public static void listAllFile() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//      
	FileStatus[] status = fs.listStatus(new Path("hdfs://hy:9000/hy/"));
	//           
	Path[] listedPaths = FileUtil.stat2Paths(status);
	//        
	for (Path path : listedPaths) {
		System.out.println(path);
	}
	//    
	fs.close();
}
/**
   *       HDFS
   * @throws Exception
   */
public static void copyToHDFS() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//      Linux     Path srcPath = new Path("/home/hadoop/temp.jar");
	//     windows   ，    Windows    ，   E://temp.jar
	Path srcPath = new Path("E://temp.jar");
	//    
	Path dstPath = new Path("hdfs://hy:9000/hy/weibo");
	//      
	fs.copyFromLocalFile(srcPath, dstPath);
	//    
	fs.close();
}
/**
   *  HDFS     
   * @throws Exception
   */
public static void getFile() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//     
	Path srcPath = new Path("hdfs://hy:9000/hy/weibo/temp.jar");
	//    ，   Linux  
	//   Windows   ，    Windows    ， C://User/andy/Desktop/
	Path dstPath = new Path("D://");
	//  HDFS    
	fs.copyToLocalFile(srcPath, dstPath);
	//    
	fs.close();
}
/**
   *   HDFS      
   * @throws Exception
   */
public static void getHDFSNodes() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//         
	DistributedFileSystem hdfs = (DistributedFileSystem)fs;
	//      
	DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
	//     
	for (int i = 0; i < dataNodeStats.length; i++) {
		System.out.println("DataNote_" + i + "_Name:" + dataNodeStats[i].getHostName());
	}
	//    
	fs.close();
}
/**
   *        HDFS     
   * @throws Exception
   */
public static void getFileLocal() throws Exception{
	//      
	FileSystem fs = getFileSystem();
	//    
	Path path = new Path("hdfs://hy:9000/hy/weibo/temp.jar");
	//      
	FileStatus fileStatus = fs.getFileStatus(path);
	//         
	BlockLocation[] blockLocations = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
	//       
	for (int i = 0; i < blockLocations.length; i++) {
		String[] hosts = blockLocations[i].getHosts();
		System.out.println("block_" + i + "_location:" + hosts[0]);
	}
	//    
	fs.close();
}

締め括りをつける
以上がHFSのJava APIのアクセス方式の実例コードのすべての内容であり、皆さんの役に立つことを期待しています。興味のある方は引き続き当駅の他のテーマを参照してください。友達のサポートに感謝します。