spark-shellでimportとか変数設定とかをファイル読み込みで事前にやっておくには
出来上がったアプリ、ツールなどは、
spark-submitで使えばよいが、spark-shellで対話的に
デバッグ、確認したいが、いちいち、importとか変数設定とかするのが面倒な場合は、ファイルに設定して、読み込む
prepare.scala
import org.apache.spark._
import org.apache.spark.rdd._
import com.rikima.ml.Query
val input = "/opt/hoge/data.tsv"
val model = "/opt/hoge/model.json"
def process(queries: RDD[Query]) : RDD[Int] = {
....
}
spark-shellの起動
shell.sh
#!/bin/sh
jars="hoge.jar"
for jar in $(ls ./extjars/*.jar) ; do
jars=$jars,$jar
done
spark-shell --jars $jars -i ./prepare.scala
これで、spark-shell起動後に、input, model変数が使えたり、process functionを使える。
Author And Source
この問題について(spark-shellでimportとか変数設定とかをファイル読み込みで事前にやっておくには), 我々は、より多くの情報をここで見つけました https://qiita.com/rikima/items/511763f388435b25bed8著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .