HDFSのファイル操作
詳細
去年の冬休みの时、私达はすでにhadoopクラスタの构筑を完成して、すでに初歩的に自分のクラウドプラットフォームを构筑して、同じくリモートアクセスHDFSをテストして、この数日もリモート対HDFSの操作を振り返ってテストしました.HDFSのファイル操作はHDFSコマンドをフォーマットする:user@namenode:hadoop$bin/hadoop namenode-format HDFSコマンドを起動します.user@namenode:hadoop$ bin/start-dfs.sh
HDFS上のファイルのリスト
コマンド:user@namenode:hadoop$ bin/hadoop dfs -ls
hadoop APIの使用
HDFSでディレクトリコマンドを作成するには、次の手順に従います.user@namenode:hadoop$bin/hadoop dfs-mkdir/ファイル名
hadoop APIの使用
HDFSコマンドにファイルをアップロードします.user@namenode:hadoop$bin/hadoop dfs-putファイル名/user/yourUserName/
hadoop APIの使用
HDFSからのデータのエクスポート
コマンド:user@namenode:hadoop$ bin/hadoop dfs -cat foo
hadoop APIの使用
HDFSのクローズコマンド:user@namenode:hadoop$ bin/stop-dfs.sh
HDFSグローバル状態情報
コマンド:bin/hadoop dfsadmin-report
グローバルステータスレポートを得ることができます.この報告書にはHDFSクラスタの基本情報が含まれており,もちろん各機器の場合もある.
以上はすべてローカル操作HDFSで、ubuntuの下でhadoop環境の下でHDFSの操作を配置することに基づいて、クライアントとしてwindowシステムの下で遠隔のHDFSに対して操作することができて、実は原理は基本的にほとんど悪くなくて、クラスタの中でnamenodeが外に開放するIPとポートだけが必要で、HDFSにアクセスすることができます
http://ホストIP:500,030でクラスタのすべての情報を表示したり、HDFSにアップロードしたファイルを表示したりすることができます.
去年の冬休みの时、私达はすでにhadoopクラスタの构筑を完成して、すでに初歩的に自分のクラウドプラットフォームを构筑して、同じくリモートアクセスHDFSをテストして、この数日もリモート対HDFSの操作を振り返ってテストしました.HDFSのファイル操作はHDFSコマンドをフォーマットする:user@namenode:hadoop$bin/hadoop namenode-format HDFSコマンドを起動します.user@namenode:hadoop$ bin/start-dfs.sh
HDFS上のファイルのリスト
コマンド:user@namenode:hadoop$ bin/hadoop dfs -ls
hadoop APIの使用
public List GetFileBolckHost(Configuration conf, String FileName) {
try {
List list = new ArrayList();
FileSystem hdfs = FileSystem.get(conf);
Path path = new Path(FileName);
FileStatus fileStatus = hdfs.getFileStatus(path);
BlockLocation[] blkLocations = hdfs.getFileBlockLocations(
fileStatus, 0, fileStatus.getLen());
int blkCount = blkLocations.length;
for (int i = 0; i < blkCount; i++) {
String[] hosts = blkLocations[i].getHosts();
list.add(hosts);
}
return list;
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
HDFSでディレクトリコマンドを作成するには、次の手順に従います.user@namenode:hadoop$bin/hadoop dfs-mkdir/ファイル名
hadoop APIの使用
// HDFS
public FSDataOutputStream CreateFile(Configuration conf, String FileName) {
try {
FileSystem hdfs = FileSystem.get(conf);
Path path = new Path(FileName);
FSDataOutputStream outputStream = hdfs.create(path);
return outputStream;
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
HDFSコマンドにファイルをアップロードします.user@namenode:hadoop$bin/hadoop dfs-putファイル名/user/yourUserName/
hadoop APIの使用
// HDFS
public void PutFile(Configuration conf, String srcFile, String dstFile) {
try {
FileSystem hdfs = FileSystem.get(conf);
Path srcPath = new Path(srcFile);
Path dstPath = new Path(dstFile);
hdfs.copyFromLocalFile(srcPath, dstPath);
} catch (IOException e) {
e.printStackTrace();
}
}
HDFSからのデータのエクスポート
コマンド:user@namenode:hadoop$ bin/hadoop dfs -cat foo
hadoop APIの使用
// HDFS
public void ReadFile(Configuration conf, String FileName) {
try {
FileSystem hdfs = FileSystem.get(conf);
FSDataInputStream dis = hdfs.open(new Path(FileName));
IOUtils.copyBytes(dis, System.out, 4096, false);
dis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
HDFSのクローズコマンド:user@namenode:hadoop$ bin/stop-dfs.sh
HDFSグローバル状態情報
コマンド:bin/hadoop dfsadmin-report
グローバルステータスレポートを得ることができます.この報告書にはHDFSクラスタの基本情報が含まれており,もちろん各機器の場合もある.
以上はすべてローカル操作HDFSで、ubuntuの下でhadoop環境の下でHDFSの操作を配置することに基づいて、クライアントとしてwindowシステムの下で遠隔のHDFSに対して操作することができて、実は原理は基本的にほとんど悪くなくて、クラスタの中でnamenodeが外に開放するIPとポートだけが必要で、HDFSにアクセスすることができます
/**
* HDFS
* @author yujing
*
*/
public class Write {
public static void main(String[] args) {
try {
uploadTohdfs();
readHdfs();
getDirectoryFromHdfs();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
public static void uploadTohdfs() throws FileNotFoundException, IOException {
String localSrc = "D://qq.txt";
String dst = "hdfs://192.168.1.11:9000/usr/yujing/test.txt";
InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
OutputStream out = fs.create(new Path(dst), new Progressable() {
public void progress() {
System.out.println(".");
}
});
System.out.println(" ");
IOUtils.copyBytes(in, out, 4096, true);
}
/** HDFS */
private static void readHdfs() throws FileNotFoundException, IOException {
String dst = "hdfs://192.168.1.11:9000/usr/yujing/test.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
FSDataInputStream hdfsInStream = fs.open(new Path(dst));
OutputStream out = new FileOutputStream("d:/qq-hdfs.txt");
byte[] ioBuffer = new byte[1024];
int readLen = hdfsInStream.read(ioBuffer);
while (-1 != readLen) {
out.write(ioBuffer, 0, readLen);
readLen = hdfsInStream.read(ioBuffer);
}
System.out.println(" ");
out.close();
hdfsInStream.close();
fs.close();
}
/**
* append HDFS ; : , hdfs-site.xml dfs.
* append.support true
*/
private static void appendToHdfs() throws FileNotFoundException,
IOException {
String dst = "hdfs://192.168.1.11:9000/usr/yujing/test.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
FSDataOutputStream out = fs.append(new Path(dst));
int readLen = "zhangzk add by hdfs java api".getBytes().length;
while (-1 != readLen) {
out.write("zhangzk add by hdfs java api".getBytes(), 0, readLen);
}
out.close();
fs.close();
}
/** HDFS */
private static void deleteFromHdfs() throws FileNotFoundException,
IOException {
String dst = "hdfs://192.168.1.11:9000/usr/yujing";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
fs.deleteOnExit(new Path(dst));
fs.close();
}
/** HDFS */
private static void getDirectoryFromHdfs() throws FileNotFoundException,
IOException {
String dst = "hdfs://192.168.1.11:9000/usr/yujing";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
FileStatus fileList[] = fs.listStatus(new Path(dst));
int size = fileList.length;
for (int i = 0; i < size; i++) {
System.out.println(" name:" + fileList[i].getPath().getName()
+ " /t/tsize:" + fileList[i].getLen());
}
fs.close();
}
}
http://ホストIP:500,030でクラスタのすべての情報を表示したり、HDFSにアップロードしたファイルを表示したりすることができます.