IntelliJでSpark CSVを使ったsbtプロジェクトの作成法


環境

Windows

Spark CSVについて

参照URL:http://qiita.com/kanuma1984/items/7cf2deb07c4eec593265

IntelliJでのsbtプロジェクトの作成法

英語だが
http://nanxiao.me/en/build-apache-spark-application-in-intellij-idea-14-1/
の後半が参考になる.

scala2.11ではなく,scala2.10を使うことに注意

プロジェクト直下に下記のbuild.sbtを作成.

build.sbt
name := "YourProjectName"

version := "1.0"

scalaVersion := "2.10.5"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.1" % "provided",
  "org.apache.spark" %% "spark-mllib" % "1.5.1",
  "com.databricks" % "spark-csv_2.10" % "1.3.0"
)

以上.