day 15 RDD舞台裏解析

本文は自慢データを整理します。ドリームワークス：http://weibo.com/ilovepains
計算2数と

object RDDBaseOnCollection {
    def  main (args: Array[String]) {

      val conf = new SparkConf()
      conf.setAppName("....RDDBaseon Collection")
      conf.setMaster("local")
    
      val readDatas = sc.textFile("")
      val datas = 1 to 100
      val numbers = sc.parallelize(datas).reduce(_+_)
      println("........"+numbers)
  }
}

32個のcore 32個のTask、
スパークは最大の利用コークになります。
並列度設定：各coreで2-4つのPartionを設定できます。
Palel Collection RDD