EmbulkでBigQueryに大きい(4G以上の)ファイルを送ろうとしてエラーになる場合の対処法

694 ワード
embulk-output-bigquery Embulk BigQuery BigQuery テキストリンク

embulk-output-bigqueryを利用して、BigQueryに大きい(4G以上の)ファイルを送ろうとしてエラーになる際の対処法を聞いたのでメモ。
https://github.com/embulk/embulk-output-bigquery

大きいファイルを送るときに、GZIPオプションを付けたくなるが、BigQuery側では圧縮ファイルの最大ファイル数が小さめ。
そのため非圧縮にして送ればOK。以下の設定を削除する。

compression: GZIP

非圧縮で5TB以上だとファイルを分割するのがよい。