td_partial_deleteについて

td_partial_deleteについて(部分意訳・要約)
https://docs.digdag.io/operators/td_partial_delete.html

td_partial_deleteとは

Treasure dataのテーブルから範囲を指定して削除するdigdagオペレーター

オペレーター表記

td_partial_delete>

ポイント

• ストリーミングインポート(fluentd)を使用したレコードは、td_partial_deleteを使用して数時間削除することはできない。
• INSERT INTO、Data Connector（MapReduce Executor）、および一括インポートされたレコードはすぐに削除できる。
• 時間は1時間単位で指定する
• 分や秒に0以外を指定することはできない

環境変数

Treasure Data APIキーが必須(クエリを実行する時に必要)

パラメータの設定方法

+タスク名:
  td_partial_delete>: テーブル名
  database: DB名
  from: 日付(↓例)  T00:00:00+08:00 <-- 分、秒は0
  to:   2016-02-01T00:00:00+08:00

雑感

TDはUPDATEができないためこのような関数が提供されている
また、TDにはトランザクション機能もない
delete処理 -> insert処理の順序だと一時的にその期間のデータがまったくない状態が発生するので、ユーザーが頻繁に利用する場合などは考慮が必要