Treasure Dataのpartial delete

2492 ワード
TreasureData digdag TreasureData テキストリンク

こんなレコードがあったとして

embulk-output-tdプラグインで投入

$ td query -d db1 "SELECT time, TD_TIME_FORMAT(time, 'yyyy-MM-dd HH:mm:ss', 'JST') AS date FROM tbl1 ORDER BY time" -w
～略～
+------------+---------------------+
| time       | date                |
+------------+---------------------+
| 1496592000 | 2017-06-05 01:00:00 |
| 1496595600 | 2017-06-05 02:00:00 |
| 1496599200 | 2017-06-05 03:00:00 |
| 1496602800 | 2017-06-05 04:00:00 |
| 1496606400 | 2017-06-05 05:00:00 |
| 1496610000 | 2017-06-05 06:00:00 |
| 1496613600 | 2017-06-05 07:00:00 |
| 1496617200 | 2017-06-05 08:00:00 |
| 1496620800 | 2017-06-05 09:00:00 |
| 1496624400 | 2017-06-05 10:00:00 |
| 1496628000 | 2017-06-05 11:00:00 |
| 1496631600 | 2017-06-05 12:00:00 |
| 1496635200 | 2017-06-05 13:00:00 |
| 1496638800 | 2017-06-05 14:00:00 |
| 1496642400 | 2017-06-05 15:00:00 |
| 1496646000 | 2017-06-05 16:00:00 |
| 1496649600 | 2017-06-05 17:00:00 |
| 1496653200 | 2017-06-05 18:00:00 |
| 1496656800 | 2017-06-05 19:00:00 |
| 1496660400 | 2017-06-05 20:00:00 |
| 1496664000 | 2017-06-05 21:00:00 |
| 1496667600 | 2017-06-05 22:00:00 |
| 1496671200 | 2017-06-05 23:00:00 |
| 1496674800 | 2017-06-06 00:00:00 |
+------------+---------------------+
24 rows in set

tdコマンドでpartial deleteするなら

$ td table:partial_delete db1 tbl1 --from '2017-06-05 01:00:00 JST' --to '2017-06-06 01:00:00 JST' -w

Digdagでpartial deleteするなら

+task1:
  td_partial_delete>: tbl1
  database: db1
  from: 2017-06-05T01:00:00+09:00
  to:   2017-06-06T01:00:00+09:00

ドキュメント

Webコンソール・td table:showの件数表示

partial delete直後に当該テーブルをWebコンソールやtd table:showコマンドで見ても削除前の件数が表示される
しかも「100件追加→partial deleteで全件削除→100件追加→partial deleteで全件削除」とした後は200件と表示される
削除後の件数はWebコンソールやtd table:showコマンドで確認しないでSELECT COUNTを発行すること

↑ 2018年5月頃に対応頂けたとのこと

Androidのいくつかの画像の特効処理の集錦
C++面接C++11新特性のlambda