Spark-shell起動時のエラー
macでspark-shell起動時にエラーSparkContextのinitializing errorが出る場合
エラーメッセージ
Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
自分が見つけられてないので下記流す。
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
spark-shell
ターミナル起動時に毎回流すのが面倒な場合は
.bash_profileとかに書いとくか、$SPARK_HOME/conf/spark-env.shに追記するとよい。
brewで入れた場合は
/usr/local/Cellar/apache-spark/1.6.0/libexec/conf
この辺にspark周りのファイルまとまってる。
とか書きつつ、brewでapache-sparkの1.6.0を入れた場合、SPARK_HOMEを設定するとpermission deniedとか怒られる模様。
issueは上がってる
https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967
けどとりあえずどうにかしたい場合
unset SPARK_HOME && spark-shell
Author And Source
この問題について(Spark-shell起動時のエラー), 我々は、より多くの情報をここで見つけました https://qiita.com/y_t_p/items/f6e47b5679d83f611ae3著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .