IDEAJでのScalaパッケージコミットSparkクラスタ実行

最も簡単なdemo//hdfsを読み取り、hdfsに書き込む

package com.spark.FirstApp
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WordCountTest {
  def main(args: Array[String]) {
    val inputFile =  "hdfs://192.168.1.105:9000/word.txt"
    val conf = new SparkConf().setAppName("WordCount111").setMaster("spark://centos701:7077")
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile,1)
 textFile.saveAsTextFile("hdfs://192.168.1.105:9000/test/hello.txt")
  }
}

IDEAJでBuild->BuidProject->Build Artifacts->Buildを選択し、jarパッケージを見つけます.
クライアントにコミット./spark-submit –class com.spark.FirstApp.WordCountTest/Users/liuchao/Desktop/20171211.jar
hdfsを確認してファイルの書き込みに成功しました