データエンジニア界隈で話題のdbt（data build tool）のまとめ

概要

データエンジニア界隈で話題となってきたdbtに関する調査内容を共有します。
OSS版のdbtでも機能が充実しており、データエンジニアの方には一部の機能の利用だけでも価値があるツールです。

必要に応じて、この記事を更新します。

dbt（Data Build Tool）とは

dbtとはData Build Toolの略であり、dbt Labs社が開発しているデータ連携のELTにおけるT（データストア内でのデータ変換）の実施をサポートするツールです。

機能をざっくり整理すると下記のものがあり、SQL文のコンポーネント化やドキュメントの自動生成に特異性があります。

有償版であるdbt cloudとOSS版であるdbt Coreがあります。dbt cloudにて、developer版という個人検証用の無償ライセンスもあるので、とりあえず触りたい方はこちらがおすすめです。

引用元：dbt Pricing Plans (getdbt.com)

ツールの特徴

1. データの実体化方法としては、ビューの生成、CTAS（CREATE TABLE AS SLECT）、増分更新、差分更新（MERGE）、差分履歴更新（SCD Type2相当）がある。カスタマイズも可能であり、データ連携先データストアの製品特徴に応じて処理を自動で実施。
2. SQL文を発行するツールであることから、dbtの実行環境のスケールをあまり考慮する必要はない。データをロードする機能は基本的にはなく、データ連携済みであることが前提。
3. 結合キーは単一列であることが推奨されており、複数カラムの値をハッシュ化する方法（Generating Surrogate Keys Across Warehouses | dbt Developer Blog (getdbt.com)）が紹介されている。
4. テスト機能にて、ユニークキー制約性チェック、NOT NULL制約チェック、ドメイン制約、及び、外部キー制約チェックがあり、SQLによりテストケースを作成することが可能。dbtにはデータロード機能がないことから、システムテストの実施は別途必要。
5. dbt_utils（dbt - Package hub (getdbt.com)）などの公開されているパッケージを利用することで、先駆者の知見を拝借可能。
6. ドキュメント機能にて、dbt cloud（有償サービス）を利用しない場合には、自前でホストする環境で共有（Deploying the documentation site | dbt Docs (getdbt.com)）する必要がある。
7. ドキュメント機能にて、データ連携に関する情報だけでなく、データ活用に関する情報（Exposures 、Analyses、Metrics等）を、yaml、あるいは、Markdownで記述可能。

利用シナリオ

利用シナリオには下記がある。

dbtに関する情報源

製品関連情報

dbt の概要を理解するためのページ

サンプルコード

開発ベストプラクティス

dbtにより生成されるドキュメントのサンプル

関連記事

次の記事はdbtをより深く理解するための記事です。