概要

データ基盤でETL処理を効率的に行うdbtなんですが、標準ではAmazon Athenaが
サポートされていません。有志によるAthena用のpluginは作成されているので、
それを使ってAtenaに接続する流れをまとめてみました。

前提

動作確認バージョン

python 3.9.5

pythonの環境はpyenv使うなりご自由にどうぞ。
私はpyenvとvenvで構築しました。

手順

1. dbtのインストール

基本的には公式ドキュメントにそって行うだけですが、１点注意があります。
Athena用のモジュールであるdbt-athenaが 0.20.0 までしか対応していないので、
必ず下記のようにバージョン指定でインストールしてください。
指定せずにインストールすると、0.20.1 が入ります。

pip install dbt==0.20.0

終わったらバージョンを確認しておきます。
最新じゃないよ！と言われますが、これでOKです。

> dbt --version
installed version: 0.20.0
   latest version: 0.20.1

Your version of dbt is out of date! You can find instructions for upgrading here:
https://docs.getdbt.com/docs/installation

Plugins:
  - bigquery: 0.20.0
  - snowflake: 0.20.0
  - redshift: 0.20.0
  - postgres: 0.20.0

2. dbt-athenaのインストール

dbt-athenaのREADMEにそってインストールします。

# 最新のコマンドはGithub確認のこと
pip install git+https://github.com/Tomme/dbt-athena.git

インストール後、もう一度確認すると、athena用のpluginが入っている事がわかります。

> dbt --version
installed version: 0.20.0

〜 省略 〜

Plugins:
  - bigquery: 0.20.0
  - snowflake: 0.20.0
  - redshift: 0.20.0
  - postgres: 0.20.0
  - athena: 0.20.0

3. profiles.ymlの作成

ここからはdbt動作のための設定です。
まず ~/.dbt/profiles.yml を編集します。
このファイルはdbtインストール時に自動的に作成されるもので、
今回はAthena用の接続設定を作成するので、下記のようなymlになります。

athena-conn:
  target: dev
  outputs:
    dev:
      type: athena
      s3_staging_dir: s3://dbt-sample-result/
      region_name: ap-northeast-1
      schema: dbt
      database: awsdatacatalog
      aws_profile_name: user-profile

「athena-conn」のところは、この接続の名前なので任意のもので構いません。
s3_stagion_dirは発行SQLの結果を保存するバケットになります。（実際のデータを保存するわけではないです）
→間違いでした。dbtから発行されたデータは基本、デフォルトではこのディレクトリに保存されるようです。

databaseは、少し紛らわしいですが、Athenaでいうところの「Datasource」で、標準だと
awscatalogになると思います。この項目は英小文字しか許可されていないので注意ください。

aws_profile_nameはdatabaseに接続するためのprofileで、
dbt-athenaでは、credential情報は保持せず、profile指定で接続するようでした。
また、接続に使用するユーザーは athena:StartQueryExecution の権限が必要なので、
権限付与しておいてください。（もしかすると他にも必要な権限あるかもです）

4.dbtのプロジェクト作成

dbtのプロジェクトを作成します

dbt init test-project

サンプルのモデルやREADMEなどが作成されます。

5. dbt_project.ymlの修正

4で作成したプロジェクトにある dbt_project.yml がプロジェクトの設定ファイルになっていて、
この中に使用する接続情報を記載するところがあるので、profiles.ymlで作成した名前に修正します。

profile: 'athena-conn'

6. 接続テスト

これでdbtの設定は完了なので、dbt debug で接続テストします。

> dbt debug

Running with dbt=0.20.0
dbt version: 0.20.0
python version: 3.9.5
python path: /Users/hoge/dev/dbt-sample/.venv/bin/python
os info: macOS-11.4-x86_64-i386-64bit
Using profiles.yml file at /Users/hoge/.dbt/profiles.yml
Using dbt_project.yml file at /Users/hoge/dev/dbt-sample/test-project/dbt_project.yml

Configuration:
  profiles.yml file [OK found and valid]
  dbt_project.yml file [OK found and valid]

Required dependencies:
 - git [OK found]

Connection:
  s3_staging_dir: s3://dbt-sample-result/
  work_group: None
  region_name: ap-northeast-1
  database: awsdatacatalog
  schema: dbt
  poll_interval: 1.0
  aws_profile_name: user-profile
  Connection test: OK connection ok

成功しました！
接続に使用するprofileの権限がおかしかったり、databaseがなかったりするとエラーになるので、
エラーメッセージを見て適宜対応ください。

7. サンプルモデルの作成

サンプルのモデルが含まれているので、下記コマンドで発行します。

dbt run

下記のとおり、データベースとテーブルができあがりました。

あとがき

非公式のpluginなのでもっと詰まるかなーと思いましたが、接続までは意外とすんなりいけました。
まだ深く使い込んでおらず、どんな落とし穴があるかわかりませんが、
Airflowの連携とかも試していきたいところではありますので、
より使い込んで、また知見を共有できればと思います！

それでは！

参考リンク

dbtのCLI版をインストールして使ってみた
https://dev.classmethod.jp/articles/dbt-cli-first/

公式ドキュメント
https://docs.getdbt.com/dbt-cli/installation

dbt-athena
https://github.com/Tomme/dbt-athena/