Sparkのデバッグ

Sparkデバッグ:
ローカルモードデバッグ
クラスタモードデバッグ
1つ目:
val conf = new SparkConf().setAppName("WC").setMaster(「local[2]」)第2種

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by root on 2016/5/14.
  */
object WordCount {
  def main(args: Array[String]) {
    //    ，   Spark     
    val conf = new SparkConf().setAppName("WC")
      .setJars(Array("C:\\HelloSpark\\target\\hello-spark-1.0.jar"))
      .setMaster("spark://node-1.itcast.cn:7077")
    val sc = new SparkContext(conf)

    //textFile     RDD：HadoopRDD  -> MapPartitinsRDD
    sc.textFile(args(0)).cache()
      //     RDD ：MapPartitinsRDD
      .flatMap(_.split(" "))
      //    RDD MapPartitionsRDD
      .map((_, 1))
      //    RDD ShuffledRDD
      .reduceByKey(_+_)
      //    RDD: mapPartitions
      .saveAsTextFile(args(1))
    sc.stop()
  }
}