Amazon EMRで立ち上げたSparkクラスタにJupyterを入れて
その上でPySparkを使う際に、詰まった点の対処法まとめ。

EMR立ち上げ

今回は検証用で

アプリケーション : All Applications: Hadoop 2.6.0, Hive 1.0.0, Hue 3.7.1, Mahout 0.11.0, Pig 0.14.0, and Spark 1.5.0
インスタンスタイプ : m3.xlarge
インスタンス数 : 1台
アクセス権限 : デフォルト

を用意。

Hueを入れる場合は、Hueが8888ポートを使用するため
Jupyterが8888ポート(デフォルト)を使用できなくなる。
その場合は、PCからアクセスできるように
セキュリティグループで穴をあける。

Python2.6 -> Python2.7へ

EMRで起動したEC2は、Pythonのバージョンが2.6.9なので、2.7に変更する。
元々2.7はインストールされているため、リンク先を変えるだけ。

sudo unlink /usr/bin/python
sudo ln -s /usr/bin/python2.7 /usr/bin/python

pip2.6 -> pip2.7へ

pipはアップグレードをして、リンク先を変更。

sudo pip install -U pip
sudo ln -s /usr/bin/pip-2.7 /usr/bin/pip

Jupyterのインストール

現在(2015年10月)だと、Jupyter4.0.6がインストールされる。

sudo pip install jupyter

Jupyterの起動

jupyter-notebook

プロファイルの作成について

テンプレート設定ファイルを作成(出力先は~/.jupyter/jupyter_notebook_config.py)

jupyter notebook --generate-config

c = get_config()

c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8888

Hueを入れた場合は、c.NotebookApp.portに
セキュリティグループであけた8888以外のポートを設定。

profileというものはJupyter4.Xから、なくなったみたい？
configオプションを使えば、設定ファイルを指定できる。
例)

jupyter-notebook --config='~/.ipython/profile_nbservers/ipython_config.py'

環境変数のJUPYTER_CONFIG_DIRにディレクトリパスを指定すれば
そのディレクトリ内のjupyter_notebook_config.pyを読み込むようになる。

Jupyter上でSparkを使えるようにする

spark.masterをyarnからlocalに変更。
(これをしないと、SparkContextが止まってしまっていた)

# spark.master yarn
spark.master local

前は、~/.ipython/profile_<profile名>/startup/00-<profile名>-setup.pyで
Sparkの準備をしていたものの、それもできなくなったため
Jupyter Notebook上で以下のコマンドを実行している。

export SPARK_HOME='/usr/lib/spark'

import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
if not spark_home:
    raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))

execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

ファイルにして読み込みでも良いかも。