オンプレからクラウドへの移行 IBM Lift チュートリアル: （１）CSVをクラウドDBへ

8836 ワード
Bluemix DB ibmcloud migration 移行応援 migration テキストリンク

このチュートリアルでは、オンプレからクラウドへのデータベース移行ツール IBM Liftのインストールから、簡単な使い方までざっくりご紹介します

そもそも IBM Liftとは？

無償で使えるDB移行ツールです
ソースは、Db2などIBMのデータベースはもちろん、OracleDBやSQL Serverなど他社DBもサポート。
サポートされてないDBについては、CSV化すればOKです。

英語であればここにやり方書いてありますが、このページでは日本語で説明します。
https://lift.ng.bluemix.net/

Step0: 準備するもの/使ったもの

  • クライアントPCはMac Bookを使っています
  • 移行先としてDb2 on Cloud （作り方はこちら）
  • 移行元のCSV（サンプルはこちら）
  • DDL
create table LIFT_TESTTABLE(l_date date,p_code char(3),c_code char(10),amount int,s_person varchar(30));

インストール

Step1: Liftのインストール

  • IBM Cloudのカタログ画面から「Lift」を選択します（右にあります）。

  • その後画面右下の「作成」をクリックします。
    　　　

  • 以下のような画面が表示されます。「Get Started」をクリックします

　　　

  • 画面右上の「DownLoad」をクリックします。WindowsやMacなどどの端末用のLiftをインストールするか選択します。

  • IBM Cloudにログインしなさいと言われるので、ログイン..（このへんが一番まどろっこしいですが、我慢です）
    　　　

  • どのアカウントでログインしますか？と聞かれるので、自分のアカウントを選択。そのあとは「Agree」
    　　　

  • 自動的にモジュールのダウンロードが始まるのでデスクトップなど分かりやすいところに保存。

  • と、同時に、ブラウザには以下のような長い文字列が出てきます。これをテキストエディタ等にコピーしておいてください。あとで使います。
    　　　

  • ダブルクリックしてファイルを解凍

  • コマンドプロンプト（ターミナル）から解凍したフォルダに移動

  • インストールコマンドを実行

  • さっきテキストエディタにコピーした文字列をコピペし、インストール完了です。具体的なコマンドは以下のとおりです。

#フォルダに移動
$ cd lift-cli-install/
META-INF         lift-cli-install

# インストールコマンドを実行、sudoで実行してください
$ sudo lift-cli-install/install /opt/lift-cli

# Mac端末のパスワードを入力
Password:

# さっきコピーした文字列をペースト
Provide the token you were given when you downloaded Lift:
Qg.eyJBIjoiMDZhZTFlM2Y1NzMwYWVkNWJkZDQ3ZmVjNTg5NGE3OGUiLCJFIjoiWU5BVFNVTUlAanAuaWJtLmNvbSIsIkgiOiJDUUFsdk9SbnBVM3RSU2dBRTd2dFdqaDlmckt4VUhaMm5KVnRDV2ZcL1UxRnJwUElGMEMxdmh5S0hTT2tWK3JBK2xzeVBCWDFQcnVlbjRBQWhXZzJPRGc9PSIsIksiOiI2YTJmZWQ1MWRlMzY3ODFlZjkyNmJjNzliYzMwNjcyNjE4MjExOTk2NGE4YjcyZjI1MzA4NmY2NTQxMWNhNWFmNzhlNGUxYzJjMmMyY2MwYmEyM2ZjMjgxZGIwNGNhYjYxMDlhYjcyZDAzMzFmM2RmYjE0M2QzN2Y4Mzk4YWY1YiJ9.MCwCFCcKkcwuZ8ZrX7ApYgNOnRSoWnkOAhQMdn/s/dPaTiOLFSLjcbilBDX7Hw

Installing Lift to /opt/lift-cli
Install complete.

#以上でインストール完了！
  • .bashrcを編集しliftコマンドの在り処をPATHで設定します
# .bashrcを編集
$ vi ~/.bashrc

# viで「export PATH=/usr/local/bin:（中略）....:/opt/lift-cli/bin」となるように、
# 最後に「:/opt/lift-cli/bin」を追記

# .bashrcを再読込
$ source ~/.bashrc

CSVをクラウドDBへ

Step2: Liftを使ってCSVをクラウドへ

移行先のDb2 on CloudでDDLを流して、テーブル定義を先に設定します

  • メニューから「RUN SQL」をクリック
  • 冒頭に紹介したDDLをこのエディタにコピペ
  • コピペ後、左上の「実行」をクリック

  • 正常に実行されたことを確認します
    　　　

  • オンプレミスからデータをクラウドへアップロードします

    • 本来は10GBなど非常に大きいデータのほうが効果的なのですが今回は簡素化のために小さいファイルで行います
    • 移行先のDb2 on CloudのID、パスワード、ホスト名を確認します。
    • IBM Cloudの画面でDb2から「サービス資格情報」をクリックすると以下のようにテキストでホスト名やパスワード等が表示されるのでテキストエディタにメモっておきます 　　　

  • liftコマンドを実行して、まずはCSVをクラウドにアップします

    • ここではCSVの保存先は「/Users/xxx/Desktop」としています
    • パスワードは「PASSWORDxxxxxxxx」としています
    • ホスト名はdashdb-txn-xxxxx.netとしています
# liftコマンドを実行
$ sudo lift put --file /Users/xxx/Desktop/sampledata_lift.csv --target-user jln84695 --target-password PASSWORDxxxxxxxx --target-host dashdb-txn-xxxxx.net

# Mac端末のパスワードを入力
Password:

#あとは自動的にアップロードが始まります
Putting file /Users/xxx/Desktop/sampledata_lift.csv (size 412B) at a maximum throughput of 500.00 Mb/s.
[##########] Put 412/412 B at < 1 Mb/s (0 sec remain)

Transferred file /Users/xxx/Desktop/sampledata_lift.csv in 7 seconds at average throughput of < 1 Mb/s.
The file transfer completed successfully.
  • liftコマンドを実行して、Db2 on Cloudにデータをロードします
    • パスワードは「PASSWORDxxxxxxxx」としています
    • ホスト名はdashdb-txn-xxxxx.netとしています
$ sudo lift load --filename sampledata_lift.csv --target-schema JLN84695 --target-table LIFT_TESTTABLE --header-row --remove --file-origin user --target-user jln84695 --target-password PASSWORDxxxxxxxx --target-host dashdb-txn-xxxxx.net
Loading file sampledata_lift.csv into JLN84695.LIFT_TESTTABLE
Loaded file sampledata_lift.csv into "JLN84695"."LIFT_TESTTABLE" in 1 seconds
Load Id: 613715431
Details
  Rows loaded: 11
  Rows skipped: 0
  Rows rejected: 0
  Rows deleted: 0

Step3: 移行が完了したか確認

  • Db2 on Cloudにログインして内容を確認します。
  • EXPLOREの画面からスキーマを選択、そのあとに表を選択します。 ここでは先程作ったLIFT_TESTTABLEです。

　　　

  • このようにCSVが正常にロードされていることを確認します

　　　

おつかれさまでした!!