HDFSにファイルレポートjavaをアップロードする.io.IOException:Bad connect ack with firstBadLink異常

3558 ワード

シナリオ記述:HDFSにファイルをアップロードするテスト時にjavaを報告する.io.IOException異常
コードクリップのアップロード
    private static void copyLocalFileToHDFS() {
        InputStream in  = null;
        OutputStream out = null;
        try {
            in = new BufferedInputStream(new FileInputStream("pom.xml"));
            Configuration configuration = new Configuration();
            FileSystem fileSystem = FileSystem.get(new URI(saveUrl), configuration, "root");
            out = fileSystem.create(new Path(saveUrl), new Progressable() {
                @Override
                public void progress() {
                    System.out.println(".");
                }
            });
            IOUtils.copyBytes(in, out, 4096, true);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(in);
            IOUtils.closeStream(out);
        }
    }

例外情報:
   INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Bad connect ack with firstBadLink as 192.168.226.136:50010
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1116)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1039)

解決策:data nodesのファイアウォールを閉じる
service iptables save

service iptables stop

chkconfig iptables off

参照先:http://stackoverflow.com/questions/21718900/exception-in-createblockoutputstream-when-copying-data-into-hdfs