Scala版のSpark Jarの最小限の構成
結論、Scala-libraryもSpark-coreも要らない（Spark-submit時に勝手にclasspathに追加される）ので、これだけで動作する。
plugins.sbt
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.2")
build.sbt
organization := "com.github.uryyyyyyy",
scalaVersion := "2.11.7", //2.10.x
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion % "provided"
)
assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)
あとは、
sbt assembly
とかでいける。
Author And Source
この問題について(Scala版のSpark Jarの最小限の構成), 我々は、より多くの情報をここで見つけました https://qiita.com/uryyyyyyy/items/a4524e87537e3a8bb745著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .