Tips: Treasure Workflowを用いてクエリを実行するときに、クエリ結果をエクスポートする方法


TreasureDataのコンソールでクエリを記述する際、「Result Export」の設定が項目として存在していると思います。
これをTreasure Workflow (トレジャーワークフロー) を用いた時にどのように設定するのかがわからず、詰まったので備忘録として残しておきます。

なお、Treasure Workflow自体については

などで詳しく書かれています。

結論

digdagファイルに以下のような設定を書けばできます(datatankにエクスポートする例)

+export_data:
  td>: query.sql
# 以下の設定がエクスポートの設定
  result_connection: datatank
  result_settings:
      database: datatank
      table: example_table
      mode: replace
      keys: id

設定する項目は以下のようなものです。

  • result_connection→エクスポート先のコネクターの指定(DataConnectorで定義した名前)
  • result_settings→コンソールで設定する際の設定と同じ項目(DataConnectorごとに異なるので一度コンソールでエクスポートの設定をしてみると良さそう)

同様に詰まった方の参考になれば幸いです。

参考文献