TreasureDataにinsertする方法

2287 ワード
TreasureData TreasureData テキストリンク

TreasureDataでinsertする方法はいくつかありますが、自分用にメモ

やりたいこと

・TreasureDataにinsertする

CLIからinsert　その１(td query)

参考：https://docs.treasuredata.com/articles/result-into-td

td query -d example_db -w -T presto "insert into example_tbl(col1,col2) select '1','2'"

あるいは

td query -d example_db -w --result 'td://@/example_db/example_tbl' "select '1','2'"

CLIからinsert　その２(td import:auto)

参考：https://docs.treasuredata.com/articles/bulk-import-from-csv
CSVファイルからinsertする場合

sudo td import:auto --format csv --column-header --encoding UTF-8 --all-string --time-column time --parallel 8 --prepare-parallel 8 --invalid-columns-handling autofix --auto-create example_db.example_tbl path/to/*.csv

注意点としてはtime-columnオプションは必須なので、csvには必ず時間列が必要。もしないって場合はすべて0でもよいので、列を作る必要があり。
またcsvファイルの列が固定出ない場合でも自動で列を生成してくれたりもする。

コンソールからinsert

新しいバージョンのコンソールの場合

古いコンソールの場合

まとめ

その他知りたいことがあれば、documentを確認しましょう。
https://docs.treasuredata.com/articles/quickstart