spark-shellで処理をfile指定して実行させるには
#!/bin/sh
cur=$(dirname $0)
spark_home=/opt/spark
hadoop_home=/opt/hadoop
file=$1
if [ -s $file ] ; then
$spark_home/bin/spark-shell --num-executors 18 --executor-cores 2 --master yarn --deploy-mode client -i $file
else
$spark_home/bin/spark-shell --num-executors 18 --executor-cores 2 --master yarn --deploy-mode client
fi
Author And Source
この問題について(spark-shellで処理をfile指定して実行させるには), 我々は、より多くの情報をここで見つけました https://qiita.com/rikima/items/3db373aef03c8b858575著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .