Databricksとdbt Cloudの連携(実践編その1)

11969 ワード
Databricks 連携 dbt 連携 テキストリンク

Databricksとdbt Cloudの連携のステップ3: モデルを作成して実行するまでを実践した内容です。

クラスターの準備

ここでは、Databricksクラスターに接続します。

  1. 事前にパーソナルアクセストークンを取得しておきます。サイドメニューの設定 > ユーザー設定 > アクセストークンに移動し、新規トークンの作成をクリックして、トークンの名前、存続期間を指定します。作成をクリックするとトークンが表示されるのでコピーしておきます。

    注意 パーソナルアクセストークンは厳重に管理してください。第三者に教えたりしないでください。

  2. 任意のスペックのクラスターを作成します。dbtからこのクラスターにアクセスすることになります。高度なオプションのJDBC/ODBCタブに表示されるサーバーのホスト名、ポート、HTTPパスをメモしておきます。

データベースとテーブルの準備

dbt Cloudで操作するデータベースとテーブルを準備しておきます。今回は自分用のデータベースdbt_takaで作業するので、このデータベースとソースデータを格納するテーブルを作成します。

  1. 上で準備したクラスターにSQLノートブックをアタッチします。

  2. 以下のSQL文を実行してデータベースとテーブルを作成します。

    SQL
    CREATE SCHEMA taka_dbt;
    SQL
    USE taka_dbt;

DROP TABLE IF EXISTS diamonds;

CREATE TABLE diamonds USING CSV OPTIONS (path "/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", header "true")

dbt Cloudの設定

  1. dbt Cloud - Signupにアクセスして、アカウント情報を入力します。
  2. 以下のような画面が表示され、指定したアドレスに確認メールが届きます。

  3. メールに記載のVerify email addressをクリックします。
  4. プロジェクトのセットアップを行います。
  5. Database ConnectionではDatabricksを選択します。
  6. NAMEには接続設定情報の名称、HOSTNAMEには、クラスターの準備でコピーしたサーバーのホスト名、PORTにはポート、CLUSTERにはHTTPパスの最後の/以降の文字列を指定します。USERにはtokenを入力し、TOKENにはクラスターの準備でコピーしたパーソナルアクセストークンを指定し、SCHEMAにはDatabricks上のデータベース名を指定します。ここではtaka_dbtとしています。

  7. 上にあるTest Connectionボタンを押して接続確認を行います。接続に成功したらContinueをクリックします。
  8. モデルなどを格納するリポジトリを設定します。ここではManagedを選択してリポジトリの名称を入力しCreateをクリックします。
  9. 作成に成功したらContinueをクリックします。
  10. 今回は特にユーザーを招待しないのでSkip & Completeをクリックします。
  11. これでプロジェクトが作成できたので、Start DevelopingをクリックしてIDEに移動します。

  12. 左上にあるinitialize your projectをクリックして、プロジェクトの初期化を行います。完了すると必要なフォルダーなどが生成されます。

モデルの定義

以降はこちらで説明されているようにモデルを作成していきます。データベースを独自のものにしていますので、若干SQL文を変更しています。

models/diamonds_four_cs.sql
{{ config(
 materialized='table',
 file_format='delta'
) }}
    
select carat, cut, color, clarity
from taka_dbt.diamonds
models/diamonds_list_colors.sql
select distinct color
from taka_dbt.diamonds_four_cs
order by color asc
models/diamonds_prices.sql
select color, avg(price) as price
from taka_dbt.diamonds
group by color
order by price desc

モデルの実行

画面下のRunsの右のテキストボックスに以下のコマンドを入力し、Enterをクリックして実行します。

Bash
dbt run --model models/diamonds_four_cs.sql models/diamonds_list_colors.sql models/diamonds_prices.sql

処理が成功すればRUN STATUSがPassedとなります。

処理結果の確認

Databricksのノートブック上でSQLを実行することで、テーブル一覧、テーブルの中身を確認することができます。

SQL
SHOW TABLES;

SQL
SELECT * FROM diamonds_four_cs;

SQL
SELECT * FROM diamonds_list_colors;

SQL
SELECT * FROM diamonds_prices;

Databricks 無料トライアル

Databricks 無料トライアル