jupyter notebook (IPython notebook) でapache Sparkを使う
結論
次のコマンドを実行すれば良い。
PYSPARK_PYTHON=/Users/username/.pyenv/shims/python PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/somewhere/spark-1.5.2/bin/pyspark --master local[4]
前提
- jupyter notebook と Apache Spark がインストールされている
起動方法
結論
基本的に，https://spark.apache.org/docs/latest/programming-guide.html#using-the-shell に書かれている通りに起動するだけです。
${PYSPARK_DRIVER_PYTHON}と${PYSPARK_DRIVER_PYTHON_OPTS}の環境変数を正しくセットして，pysparkを起動するだけです。
今回は，手元のノードでテストするため，--master local[4]オプションをつけます。
-
また，マスターとワーカーで同じバージョンのpythonを使うことを確認するため，${PYSPARK_PYTHON}にpythonのパスを指定しました。
- 自分の環境の
pythonへのパスは，which pythonなどで調べるとわかります。
以上まとめて，下記のコマンドとなります。
結論
基本的に，https://spark.apache.org/docs/latest/programming-guide.html#using-the-shell に書かれている通りに起動するだけです。
${PYSPARK_DRIVER_PYTHON}と${PYSPARK_DRIVER_PYTHON_OPTS}の環境変数を正しくセットして，pysparkを起動するだけです。今回は，手元のノードでテストするため，
--master local[4]オプションをつけます。-
また，マスターとワーカーで同じバージョンのpythonを使うことを確認するため，
${PYSPARK_PYTHON}にpythonのパスを指定しました。- 自分の環境の
pythonへのパスは，which pythonなどで調べるとわかります。
- 自分の環境の
以上まとめて，下記のコマンドとなります。
PYSPARK_PYTHON=/Users/username/.pyenv/shims/python PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/somewhere/spark-1.5.2/bin/pyspark --master local[4]
Author And Source
この問題について(jupyter notebook (IPython notebook) でapache Sparkを使う), 我々は、より多くの情報をここで見つけました https://qiita.com/yk-tanigawa/items/3035e2b1c31c33185c87著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .