IntelliJでSpark CSVを使ったsbtプロジェクトの作成法
環境
Windows
Spark CSVについて
参照URL:http://qiita.com/kanuma1984/items/7cf2deb07c4eec593265
IntelliJでのsbtプロジェクトの作成法
英語だが
http://nanxiao.me/en/build-apache-spark-application-in-intellij-idea-14-1/
の後半が参考になる.
scala2.11ではなく,scala2.10を使うことに注意
プロジェクト直下に下記のbuild.sbtを作成.
build.sbt
name := "YourProjectName"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.5.1" % "provided",
"org.apache.spark" %% "spark-mllib" % "1.5.1",
"com.databricks" % "spark-csv_2.10" % "1.3.0"
)
以上.
Author And Source
この問題について(IntelliJでSpark CSVを使ったsbtプロジェクトの作成法), 我々は、より多くの情報をここで見つけました https://qiita.com/LittleWat/items/c13811dc7610de5d739f著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .