jupyterインストール関連
1.python 3をインストールする.5.7
wget https://www.python.org/ftp/python/3.5.7/Python-3.5.7.tgz
tar -zxvf Python-3.5.7.tgz
cd Python-3.5.7
./configure --prefix=/usr/local/python-3.5.7
make
make install
ln/usr/local/python-3.5.7/bin/python3 -s/usr/bin/python3ln/usr/local/python-3.5.7/bin/pip3 -s/usr/bin/pip3
2.jupyterのインストール
リファレンスhttps://www.cnblogs.com/noahzhixiao/p/9985566.htmlインストールipython,jupyter pip install ipython pip install jupyter プロファイル を生成する.
[root@50eb5057baac/]# jupyter notebook --generate-config Writing default config to:/root/.jupyter/jupyter_notebook_config.pyパスワード を生成する.
root@50eb5057baac/]# ipython Python 3.5.1 (default, Oct 21 2016, 21:37:19) Type 'copyright', 'credits' or 'license' for more information IPython 6.2.1 -- An enhanced Interactive Python. Type '?' for help. In [1]: from notebook.auth import passwd In [2]: passwd() Enter password: Verify password: Out[2]: 'sha1:43b95b731276:5d330ee6f6054613b3ab4cc59c5048ff7c70f549' In [3]:デフォルトプロファイル を変更
vi/root/.jupyter/jupyter_notebook_config.pyc.NotebookApp.ip='#notebookにアクセスするipを設定し、すべてのIPを表し、ここでipをc.NotebookAppにアクセス可能に設定する.password=u'sha 1:5 df 252 f 58 b 7 f:bf 65 d 53125 bb 36 c 085162 b 3780377 f 66 d 73972 d 1'#生成したばかりの密文c.NotebookAppを記入する.open_browser=False#notebook起動時にブラウザを自動的に開くことを禁止する(linuxサーバでは一般的にsshコマンドラインアクセスでグラフィックインタフェースがない.だから起動しても何の役にも立たない).NotebookApp.port=8889#アクセスするポートを指定します.デフォルトは8888です.前のコメントを削除 jupyter notebook--no-browser を起動
[plain] view plain copyでブラウザに住所を入力できますhttp://yourip:8889/を選択すると、次のインタフェースが表示されます.
インストール成功 Jupyterの開発ウィンドウを起動し、右上のnew をクリックします.
3.依存パッケージのインストール
通常、jupyterは開かないので、依存パッケージリファレンスをインストールする必要があります.https://www.cnblogs.com/ligh-test/p/10028850.html no mudole named _sqlite3 mportError: dynamic module does not define module export function (PyInit__caffe)
実はこの2つの問題はpython 3以上のバージョンがsqlite 3をあまりサポートしていないためで、以下の方法は親測で問題なく、(sparkexpert大神)(1)sqlite 3をインストールするパッケージ$wgetからhttps://www.sqlite.org/2017/sqlite-autoconf-3170000.tar.gz --no-check-certificate$ tar zxvf sqlite-autoconf-3170000.tar.gz$ cd sqlite-autoconf-3170000$ ./configure--prefix=/usr/local/sqlite 3--disable-static--enable-fts 5--enable-json 1 CFLGS="-g-O 2-DSQLITE_ENABLE_FTS 3=1-DSQLITE_ENABLE_FTS 4=1-DSQLITE_ENABLE_RTREE=1"(2)python 3を再コンパイル
$ cd Python3.5.7(pythonダウンロード解凍後のディレクトリ)$LD_RUN_PATH=/usr/local/sqlite3/lib ./configure LDFLAGS="-L/usr/local/sqlite3/lib"CPPFLAGS="-I/usr/local/sqlite3/include"$ LD_RUN_PATH=/usr/local/sqlite3/lib make$ LD_RUN_PATH=/usr/local/sqlite 3/lib sudo make install上記の手順を経て、問題はないはずです.コンソール入力python 3は環境に入ります
import sqlite 3は間違った説明okを報告していません
4.spark依存を追加
修正bashrc増加:export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/sparkexport PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=/usr/local/python-3.5.7:$PYTHONPATHexport PYSPARK_PYTHON=python3
wget https://www.python.org/ftp/python/3.5.7/Python-3.5.7.tgz
tar -zxvf Python-3.5.7.tgz
cd Python-3.5.7
./configure --prefix=/usr/local/python-3.5.7
make
make install
ln/usr/local/python-3.5.7/bin/python3 -s/usr/bin/python3ln/usr/local/python-3.5.7/bin/pip3 -s/usr/bin/pip3
2.jupyterのインストール
リファレンスhttps://www.cnblogs.com/noahzhixiao/p/9985566.html
[root@50eb5057baac/]# jupyter notebook --generate-config Writing default config to:/root/.jupyter/jupyter_notebook_config.py
root@50eb5057baac/]# ipython Python 3.5.1 (default, Oct 21 2016, 21:37:19) Type 'copyright', 'credits' or 'license' for more information IPython 6.2.1 -- An enhanced Interactive Python. Type '?' for help. In [1]: from notebook.auth import passwd In [2]: passwd() Enter password: Verify password: Out[2]: 'sha1:43b95b731276:5d330ee6f6054613b3ab4cc59c5048ff7c70f549' In [3]:
vi/root/.jupyter/jupyter_notebook_config.pyc.NotebookApp.ip='#notebookにアクセスするipを設定し、すべてのIPを表し、ここでipをc.NotebookAppにアクセス可能に設定する.password=u'sha 1:5 df 252 f 58 b 7 f:bf 65 d 53125 bb 36 c 085162 b 3780377 f 66 d 73972 d 1'#生成したばかりの密文c.NotebookAppを記入する.open_browser=False#notebook起動時にブラウザを自動的に開くことを禁止する(linuxサーバでは一般的にsshコマンドラインアクセスでグラフィックインタフェースがない.だから起動しても何の役にも立たない).NotebookApp.port=8889#アクセスするポートを指定します.デフォルトは8888です.前のコメントを削除
[plain] view plain copy
[root@346086094cbe /]# jupyter notebook --allow-root [W 17:17:04.106 NotebookApp] WARNING: The notebook server is listening on all IP addresses and not using encryption. This is not recommended. [I 17:17:04.111 NotebookApp] Serving notebooks from local directory: / [I 17:17:04.112 NotebookApp] 0 active kernels [I 17:17:04.112 NotebookApp] The Jupyter Notebook is running at: [I 17:17:04.112 NotebookApp] http://[all ip addresses on your system]:8889/ [I 17:17:04.112 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation). インストール成功
3.依存パッケージのインストール
通常、jupyterは開かないので、依存パッケージリファレンスをインストールする必要があります.https://www.cnblogs.com/ligh-test/p/10028850.html
実はこの2つの問題はpython 3以上のバージョンがsqlite 3をあまりサポートしていないためで、以下の方法は親測で問題なく、(sparkexpert大神)(1)sqlite 3をインストールするパッケージ$wgetからhttps://www.sqlite.org/2017/sqlite-autoconf-3170000.tar.gz --no-check-certificate$ tar zxvf sqlite-autoconf-3170000.tar.gz$ cd sqlite-autoconf-3170000$ ./configure--prefix=/usr/local/sqlite 3--disable-static--enable-fts 5--enable-json 1 CFLGS="-g-O 2-DSQLITE_ENABLE_FTS 3=1-DSQLITE_ENABLE_FTS 4=1-DSQLITE_ENABLE_RTREE=1"(2)python 3を再コンパイル
$ cd Python3.5.7(pythonダウンロード解凍後のディレクトリ)$LD_RUN_PATH=/usr/local/sqlite3/lib ./configure LDFLAGS="-L/usr/local/sqlite3/lib"CPPFLAGS="-I/usr/local/sqlite3/include"$ LD_RUN_PATH=/usr/local/sqlite3/lib make$ LD_RUN_PATH=/usr/local/sqlite 3/lib sudo make install上記の手順を経て、問題はないはずです.コンソール入力python 3は環境に入ります
import sqlite 3は間違った説明okを報告していません
4.spark依存を追加
修正bashrc増加:export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/sparkexport PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=/usr/local/python-3.5.7:$PYTHONPATHexport PYSPARK_PYTHON=python3