scalaはsparkを開発してプログラムの中の集合を使ってRDDを作成します


package cn.spark.study.core

import org.apache.spark.{SparkConf, SparkContext}


object ParallelizeCollection {
  def main(args: Array[String]): Unit = {

    //  conf  
    val conf = new SparkConf()
      .setAppName("ParallelizeCollection")
      .setMaster("local")
    val sc = new SparkContext(conf)

    val numbers = Array(1,2,3,4,5,6,7,8,9)
    
    //            RDD,     SparkContext      parallelize()   
    val numberRDD = sc.parallelize(numbers,5)
    var sum = numberRDD.reduce(_+_)
    println(sum)
  }


}