HDFSにファイルレポートjavaをアップロードする.io.IOException:Bad connect ack with firstBadLink異常
3558 ワード
シナリオ記述:HDFSにファイルをアップロードするテスト時にjavaを報告する.io.IOException異常
コードクリップのアップロード
例外情報:
解決策:data nodesのファイアウォールを閉じる
参照先:http://stackoverflow.com/questions/21718900/exception-in-createblockoutputstream-when-copying-data-into-hdfs
コードクリップのアップロード
private static void copyLocalFileToHDFS() {
InputStream in = null;
OutputStream out = null;
try {
in = new BufferedInputStream(new FileInputStream("pom.xml"));
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(saveUrl), configuration, "root");
out = fileSystem.create(new Path(saveUrl), new Progressable() {
@Override
public void progress() {
System.out.println(".");
}
});
IOUtils.copyBytes(in, out, 4096, true);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (URISyntaxException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
IOUtils.closeStream(in);
IOUtils.closeStream(out);
}
}
例外情報:
INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Bad connect ack with firstBadLink as 192.168.226.136:50010
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1116)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1039)
解決策:data nodesのファイアウォールを閉じる
service iptables save
service iptables stop
chkconfig iptables off
参照先:http://stackoverflow.com/questions/21718900/exception-in-createblockoutputstream-when-copying-data-into-hdfs