MemSQLを使ってみようVol.13: 実践編6

11374 ワード
MemSQL Python AI Jupyter-notebook ML Python テキストリンク

今回はJupyter NotebookとMemSQLの連携に挑戦！！

前回の検証では、Mac環境上のDockerを経由して、MemSQLとRを連携してみました。今回はPython系で著名なJupyter NotebookをMemSQLと連携させてみたいと思います。Pythonの開発環境としても良く使われている様なので、分析だけではなく、機械学習やAIへのアプローチを、Python系で行われる際の参考になれば幸いです。

導入手順

今回は前回と同様に、Mac環境で作業を行います。

(1)Xcodeを導入します

まずは、お約束のXcodeを導入します。

自分の環境では、この段階でコマンドライン系も含めて全部入りましたので、関連環境の整備に移ります（既にネットに上がっている諸先輩方の投稿では、ここでコマンドライン環境を導入されているケースがありますので、念のため確認してみてください。

(3)Homebrewをインストールします

Homebrewのホームページより指示に従ってインストールします。

Homebrewが導入されたかを確認

% brew update
% brew upgrade
% brew doctor

因みに、今回の作業環境はこんな感じでした（参考まで）

pip3経由でいよいよJupyter Notebookのインストールを行います。

% pip3 install jupyter

インストールが始まりますので、暫くの間心静かに完了を待ちます。

インストールが終わったら、作業用のディレクトリを作って移動します。（xxxは適宜設定してください）

% mkdir xxx
% cd xxx

これは、jupyter notebookを実行したディレクトリが自動的にホーム画面になるみたいなので、あちこちに散らかる事を避ける為にも、任意の場所にmkdirで作業用のディレクトリを作成して、そのディレクトリに移動してからjupyter notebookを起動するようにしましょう。

% jupyter notebook

起動処理が始まりますので、暫くお待ちください。

暫くインストールが実行された後に、ブラウザへJupyter Notebookのホームページが表示されます。

お約束の動作確認をしてみます。

print("Hello World")

この記述を空欄に入れてRunを選択します。

無事に動き始めた様です。

いよいよMemSQLとの連携・・・

さて、いよいよMemSQLとの連携作業に入りますが、その前にクリアしておかなければならない、ある意味非常に重要な準備作業があります。既にお気づきの方も多いかと思いますが、双方共にGUIベースのコンソールを使う場合・・・良くある8080衝突問題が顕在化してきますので、その対策を施しておく必要があります。今回はJupyter Notebook側の配信ポートを引越しさせる事にします。

作業的には以下の手順をMacのコンソールで行います。

% jupyter notebook --generate-config

ホームのトップディレクトリに以下のファイルが出来ると思いますので、その内容を確認してポート番号を変更します。

~/.jupyter/jupyter_notebook_config.py

viエディタ等で

#c.NotebookApp.port = 8888

を探して、行頭の#を削除してください（この場合は8888が再起動後のポートになります）

無事にMemSQLのコンソールとJupyter Notebookが共存出来る様になりました。

次にpymysqlをインストールします。

% pip3 install pymysql

サクッと入りました。

今回も前回同様に、Mac上のDocker環境にMemSQLを動かして、その環境と今季のJupyter Notebookを連携させる方向で作業を行います。

Docker上でMemSQLを起動します。

% docker start memsql-ciab

いよいよ連携検証を実行！！

今回の連携も、得意のMySQLのフリ作戦で行きたいと思います。データベースは、以前の検証で作ったR連携時のテーブルをそのまま読み出してみます。

Jupyter Notebook上で以下のスクリプトを入力します。

import pymysql

db = pymysql.connect(host='127.0.0.1',
                     user='root',
                     password='',
                     db='r_db',
                     charset='utf8',
                     cursorclass=pymysql.cursors.DictCursor)

db.commit()

前段までの設定に問題が無ければ、最後のdb.commit()でMemSQLと接続されます。

次に、ターゲットのテーブルからデータを読み出してみます。

with db:
    cur=db.cursor()
    cur.execute("SELECT * FROM test99")
    rows=cur.fetchall()
    for row in rows:
        print (row)

無事にデータを読み出せました。

今度はJupyter NotebookからMemSQLにデータを書き込んでみます・・・

基本的には、前述の方法を踏襲して行けば問題なくゴールに辿り着けると思います。

import pymysql

db = pymysql.connect(host=  '127.0.0.1',
                             user='root',
                             password='',
                             db='r_db',
                             charset='utf8',
                             cursorclass=pymysql.cursors.DictCursor)

db.commit()

with db:
   cur=db.cursor()
   cur.execute("CREATE TABLE IF NOT EXISTS p_test(id INT auto_increment primary key, data VARCHAR(25))")
   cur.execute("INSERT INTO p_test(data) VALUES('aaaaaaa')")
   cur.execute("INSERT INTO p_test(data) VALUES('bbbbbbb')")
   cur.execute("INSERT INTO p_test(data) VALUES('ccccccc')")

結果をMemSQLのコンソールで確認してみます。

無事に書き込みの検証も完了できました。

今回のまとめ

今回は、Python界で著名なJupyter NotebookとMemSQLの連携を簡単に検証してみました。基本環境の構築が上手く出来れば特に難しい事もなく、次の応用展開が可能になると思います。機械学習やAI,また分析等のエンジンとしてPython界で良く使われている様ですので、ぜひこの機会にMemSQLとの連携稼働を検討してみてください。

今回の環境は、Mac上にDocker版のMemSQL、通常インストールのjupyter Notebookを組み合わせています。前回のR同様パワーのあるノートブック上でも構築できる環境ですので、気軽に高速インメモリSQLを活用して頂ければ幸いです。

MemSQLを使ってみようVol.14: 実践編7に続く

謝辞

本解説に転載させて頂いているスクリーンショットは、一部を除いて現在MemSQL社が公開されている公式ホームページの画像を使わせて頂いており、本内容とMemSQL社の公式ホームページで公開されている内容が異なる場合は、MemSQL社の情報が優先する事をご了解ください。