scalaはsparkを開発してプログラムの中の集合を使ってRDDを作成します
565 ワード
package cn.spark.study.core
import org.apache.spark.{SparkConf, SparkContext}
object ParallelizeCollection {
def main(args: Array[String]): Unit = {
// conf
val conf = new SparkConf()
.setAppName("ParallelizeCollection")
.setMaster("local")
val sc = new SparkContext(conf)
val numbers = Array(1,2,3,4,5,6,7,8,9)
// RDD, SparkContext parallelize()
val numberRDD = sc.parallelize(numbers,5)
var sum = numberRDD.reduce(_+_)
println(sum)
}
}