sparkでhdfs上のdataを削除するには
def deleteFile(filepath: String, uri: String = "hdfs://localhost:9000") {
val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI(uri), hadoopConf)
try {
hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true)
} catch {
case e : Throwable => e.printStackTrace
}
}
みたいな感じで、
- dateframeを使えば、overwrite optionでsaveできる
Author And Source
この問題について(sparkでhdfs上のdataを削除するには), 我々は、より多くの情報をここで見つけました https://qiita.com/rikima/items/f00583b1ae78fc3674c3著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .