Oracle Cloud Infrastracture（OCI）の Autonomous Database に、特殊文字で区切られたデータをオブジェクト・ストレージから GUI操作でロードしてみる

Oracle Cloud Infrastructure（以下「OCI」）では、運用管理はもちろん性能の最適化までカバーしたフル・マネージド型データベースである Autonomous Database（以下「ADB」）を提供しています。（ADBには 分析（DWH）に特化した Autonomous Data Warehouseと、OLTPや混合ワークロード用のAutonomous Transaction Proccessingの2種類があります）

運用管理や性能最適化までクラウド側に任せられるという特長から、社内のIT部門を介さずに事業部門（営業部門、開発部門、製造部門、マーケティング部門....）で独自に利用されるケースも増えてきているようです。

そんな中で「データロードをいかに高速かつ簡単に行うか？」がけっこうポイントになります。
IT部門が絡んでいる場合は「このコマンド投げてください」ということで事足りますが、事業部門の場合は「できればGUIで簡単に....」ということになります。

前置きが長くなりましたが、今回は ADBに特殊文字で区切られたデータをオブジェクト・ストレージから GUI操作で高速にロードする方法について記載してみたいと思います。

1.ツールの選定

ADBに GUI操作でデータロードする方法としては、以下の3つの方法が考えられます。

・ADB附属のAPEXの利用
・ADBのデータベース・アクションの利用
・SQL Developerの利用

調べてみると、APEXやデータベース・アクションでは区切り文字が決められた文字（カンマ、コロン、タブなど）からの選択となっており、選択肢にない文字で区切られたデータはロードできなさそうです。

SQL Developerでは、区切り文字を入力できるようになっているため、今回はSQL Developerを利用してデータロードをしてみることにします。

2.事前準備

事前準備としては、以下のような作業が必要となります。（いづれも、1度きりの作業です）

・PCへの SQL Developerのインストール
・リージョン設定
・コンパートメント作成
・ADBインスタンスの作成
・SQL Developerからの接続
・データベース・ユーザーの作成
・クレデンシャル情報の登録

事前準備について、すべての手順を詳細に記載すると冗長になってしまうため（この記事の本来の目的はロード手順です）、事前準備についてはオラクル社の「Autonomous Databaseハンズオンラボ（以下「ハンズオンラボ」）をガイドする形で記載していきます。
https://community.oracle.com/tech/welcome/discussion/4474304/autonomous-database-%E3%83%8F%E3%83%B3%E3%82%BA%E3%82%AA%E3%83%B3%E3%83%A9%E3%83%9C-adb-hol#latest

2-1.PCへの SQL Developerのインストール

SQL Developerは以下のページよりダウンロード可能です。
https://www.oracle.com/jp/tools/downloads/sqldev-downloads.html
PCの OSに対応した SQL Developerをダウンロードしてインストールします。

2-2.リージョン設定、コンパートメント作成

ハンズオンラボの以下のページを参考に作業を進めます。
https://community.oracle.com/tech/welcome/discussion/4474309
※メニュー構造や一部画面は変更になっているものがあります。

2-3.ADBインスタンスの作成、SQL Developerからの接続、データベース・ユーザーの作成

ハンズオンラボの以下のページを参考に作業を進めます。
https://community.oracle.com/tech/welcome/discussion/4474286
※メニュー構造や一部画面は変更になっているものがあります。

2-4.クレデンシャル情報の登録

オブジェクト・ストレージからデータロードを行うには、ADBがオブジェクト・ストレージを参照できるように、ADBに資格情報（クレデンシャル）を登録する必要があります。

1）認証トークンの取得

オブジェクト・ストレージを操作する OCIユーザーでクラウドコンソールにサインインし、右上のプロファイル・アイコンをクリックし、「ユーザー設定」を選びます。

画面左下メニューより「認証トークン」を選択し、［トークンの生成］ボタンを押します。

トークンの生成ダイアログで説明を入力し、［トークンの生成］ボタンを押します。

生成されたトークンは一度きりしか表示されないため、コピーしてテキストファイル等に保管しておきます。

2）クレデンシャル情報の登録

SQL Developerより、2-3.で作成したデータベース・ユーザーでADBにログインします。（ADMINユーザーではありません）

DBMS_CLOUD.CREATE_CREDENTIALプロシージャを実行し、ADBにクレデンシャル情報を登録します。
設定項目およびコマンド例は以下のとおりです。

・credential_name：任意（データロード時に使います）
・username：1)で認証トークンを作成した OCIユーザー名
・password：1)で事前に取得した認証トークン　　

BEGIN
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'ADW_CRED',
    username => 'adw_credential',
    password => 'pppppppppppppppppp'
  );
END;
/

SQL Developerに上記コマンドを貼り付けて、左上の「文の実行」ボタン（緑色の▶）を押します。

2-5.バケットの作成

ロード元となるファイルをアップロードするための、オブジェクト・ストレージのバケット（（フォルダのようなもの）を作成しておきます。

オブジェクト・ストレージを操作する OCIユーザーでクラウドコンソールにサインインし、左上三本線メニューより「ストレージ＞オブジェクト・ストレージ」を選択します。

［バケットの作成］ボタンを押して、バケットの作成ダイアログを表示します。
バケット名を入力して、［作成］ボタンを押します。

3.データロード

データロードを高速に行いたいため、事前にオブジェクト・ストレージにロード元となるファイルをアップロードしておき、SQL Developerからデータのインポート指示を出すという手順を記載します。

今回は特殊文字ということで、「$」で区切られた以下のようなorderデータをロードしてみたいと思います。

ID$顧客名$営業$製品名$単価$数量$金額$受注日
1$吉川電機 千葉店$岩井 正義$POCO Pad$75000$300$22500000$2015/5/2
64$吉川電機 神奈川店$森川 史男$Cloud Tablet$45000$2000$90000000$2015/5/2
27$吉川電機 東京店$森田 裕$Oracle Phone$50000$1000$50000000$2015/5/2
14$吉川電機 大阪店$福井 将$Oracle Watch$35000$500$17500000$2015/5/7
39$吉川電機 埼玉店$山岡 政利$Oracle Pad$60000$800$48000000$2015/5/7
65$吉川電機 広島店$中山 秀義$Cloud Tablet$45000$1500$67500000$2015/5/12
28$吉川電機 名古屋店$大泉 大輔$Oracle Phone$50000$1000$50000000$2015/5/12
52$吉川電機 北海道店$中山 秀義$EXA Phone$70000$800$56000000$2015/5/13
2$吉川電機 京都店$森岡 彩$POCO Pad$75000$500$37500000$2015/5/14
66$吉川電機 兵庫店$吉木 俊介$Cloud Tablet$45000$1000$45000000$2015/5/15
15$吉川電機 静岡店$柴岡 秀一$Oracle Watch$35000$2000$70000000$2015/5/17
40$吉川電機 石川店$加藤 優$Oracle Pad$60000$1500$90000000$2015/5/19
16$宮本カメラ 東京店$森田 裕$Oracle Watch$35000$1200$42000000$2015/5/20
29$宮本カメラ 神奈川店$山田 正一$Oracle Phone$50000$900$45000000$2015/5/26
　　　・
　　　・
　　　・

3-1.オブジェクト・ストレージへのファイル・アップロード

オブジェクト・ストレージを操作する OCIユーザーでクラウドコンソールにサインインし、左上三本線メニューより「ストレージ＞オブジェクト・ストレージ」を選択します。

2-5.で作成したバケットを選択します。

［アップロード］ボタンを押し、オブジェクトのアップロード画面からロード用のファイルをアップロードします。

※一度に複数のファイルをアップロードすることも可能です。

ファイルがアップロードできたら、ファイル（オブジェクト）一覧から該当ファイルの右端にある3つの点をクリックし「オブジェクト詳細の表示」を選択します。

オブジェクトの詳細画面に表示される URLパス（URI）をテキストファイル等に保管しておきます。

3-2.SQL Developerからのデータ・インポート

SQL Developerより、2-3.で作成したデータベース・ユーザーでADBにログインします。（ADMINユーザーではありません）

表を右クリックし「データのインポート」を選択します。
※すでに存在する表にデータを追加する場合は、該当の表で右クリック

データ・プレビュー画面が表示されるので、以下を指定して［プレビュー］ボタンを押します。

・ソース：Oracle Cloud Storage
・ファイル：3-1.でオブジェクト・ストレージにアップロードしたファイルの URLパス（URI）
　※過去に入力したものは選択リストから選択可能
・資格証明：2-4.で指定したcredential_name

画面下の「ファイルの内容」が表示されるので、オブジェクト・ストレージのファイルが読み込まれていることがわかります。

必要に応じてファイル形式を指定します。
今回、特に重要なのは、以下の2つです。

・フォーマット：delimited
・デリミタ：$（区切り文字を指定します）

デリミタを指定することで、画面下の「ファイルの内容」が正しく表示されていることがわかります。

［次へ］ボタンでインポート方法画面に移り、必要な項目を指定します。

・インポート方法：クラウド・ロード
・表名：任意（ロードする表の名前）

［ロード・オプション］ボタンを押して、ロード・オプション画面を表示します。

必要に応じて設定を行いますが、データに日本語が入っている場合は「ファイルの文字セット句を生成」をチェックして、文字セットを指定します。
（例えば、ロード元ファイルの文字コードがSJISの場合は「JA16SJISTILDE」などを指定します）

ロード・オプション画面で［適用］ボタンを押し、［次へ］ボタンで列の定義画面に移ります。

列の定義画面では各列の属性を定義していきます。
※すでに存在する表へのデータロードの場合は列の定義は不要です。

・名前：任意の列名
・データ型
　　- 数値：NUMBER
　　- 文字：VARCHAR2…
・数値の場合
　　- サイズ：桁数
　　- スケール：小数点以下の桁数
・文字の場合
　　- サイズ：バイト数
　　　※ADBの文字コードはUTFとなるため（2021/5現在）、かな漢字は3バイト/文字で計算

すべての列の設定が終わったら［次へ］ボタンでテスト画面に移ります。

テストする行数を指定して［テスト］ボタンを押します。

テストに成功すると、ステータスが「SUCCESS」になります。

テストに成功しない場合は、この画面でテスト結果や不良ファイルの内容を確認できます。
前の画面に戻って設定内容を変更してから再度テストを実施します。

テストに成功した場合は［次へ］ボタンを押し、終了画面で［終了］ボタンを押すとデータロードが始まります。

ロードした表を確認するため、表を右クリックして「リフレッシュ」を行います。

表の一覧にロードで作成した表が表示されるのでクリックします。

指定したとおりに表が作成されていることがわかります。

データタブをクリックすると、データの中身も確認できます。

※データロードが正しく実行されてない場合は、実行後の画面および画面の最下部に記述されているログファイル表と不良ファイル表を確認します。