Sparkアクション演算子(Action)--saveAsTextFile演算子/saveAsObjectFile演算子
3493 ワード
構文
pathはストレージパス
ソースコード
さぎょう
saveAsTextFileは、要素をtextfile形式でファイルに格納します.saveAsObjectFileは要素をオブジェクトにシーケンス化し、ファイルに格納します.
例
Rdd. saveAsTextFile(path)
Rdd.saveAsObjectFile(path)
pathはストレージパス
ソースコード
def saveAsTextFile(path : scala.Predef.String) : scala.Unit = { /* compiled code */ }
def saveAsObjectFile(path : scala.Predef.String) : scala.Unit = { /* compiled code */ }
さぎょう
saveAsTextFileは、要素をtextfile形式でファイルに格納します.saveAsObjectFileは要素をオブジェクトにシーケンス化し、ファイルに格納します.
例
package com.day1
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object oper {
def main(args: Array[String]): Unit = {
val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")
//
val sc = new SparkContext(config)
val rdd = sc.makeRDD(1 to 10)
rdd.saveAsTextFile("a") // a , RDD textfile
rdd.saveAsObjectFile("b") // b , RDD
}
}