bq load でパーティションテーブルを扱う


bq load でパーティションテーブル使う時のメモ。

特に伝えたいことはパーティション日付の前の バックスペースを忘れない!
バックスペースを忘れない!!
バックスペースを忘れない!!

1. 新規のパーティションを指定してloadする


bq load --source_format=CSV dataset.table\$20200401 sample.csv

2. 既存のパーティションに追加(append)する


bq load --source_format=CSV dataset.table\$20200401 sample.csv

オプションつけないで既存パーティション指定するとappendされる。

3. 既存のパーティションを上書き(write_truncate)する


bq load --replace --source_format=CSV dataset.table\$20200401 sample.csv

バックスペースなしで --replace つけると、他のパーティションも全部吹っ飛ぶ大事故に繋がるので気をつけましょう。

参考

BigQuery | bq load コマンドでpartitioned table を作成する