BigQuery に json ファイルを取り込む
やりたいこと
Macで以下のような複数ディレクトリ配下にあるjson(Slackからエクスポート)ファイルをBigQueryのネストテーブルとしてインポートする。
+hoge
-2021-01-01.json
-2021-01-02.json
+fuga
-2021-01-01.json
-2021-01-02.json
前準備
Slackのエクスポートファイルが大量にあるため、必要に応じて以下のようにディレクトリごとにjsonファイルをマージしておきます。
dirs=`find . -mindepth 1 -type d`
for dir in $dirs;
do
jq -s add $dir/*.json > $dir/merge.json
done
次に、マージしたjsonファイルをディレクトリ名(Slackのチャネル名)に変更します。
find . -name merge.json -exec rename 's/(.*)\/(.*)\./$1\/$1./' {} \;
特にチャネルを識別する必要がない場合は、全てのjsonを以下のようにマージします。
find . -name '*.json' -exec jq -s add > output.json \;
BigQuery 用に変換
BigQuery は改行区切りの json 形式にする必要があるので、以下のように jq コマンドで変換する必要があります。
jq -c '.[]' fuga.json > hoge.json
複数ディレクトリ下のjsonを一括で変換するには以下のように行う方法があります(もっと良い方法をご存知の方ご指摘ください)。
find . -type f -exec sh -c "jq -c '.[]' {} > {}.new" \;
-exec の後ろには1つのコマンドしか取れないので、sh -c の中でjqコマンドを実行しています。
もしファイルを上書きする場合は以下のようなシェルスクリプトで一括変換します。
#!/bin/bash
set -euxo pipefail
for file in **/*.json; do
jq -c '.[]' $file | sponge $file
done
*jq, sponge コマンドは brew install しておいてください。
その後BigQueryコンソールで新規テーブル作成画面を開き、ファイル形式にjsonを選択し、スキーマの自動検出オプションを設定してインポートするとjsonがnested tableとして取り込まれます。
参考
Author And Source
この問題について(BigQuery に json ファイルを取り込む), 我々は、より多くの情報をここで見つけました https://qiita.com/myoshimu/items/e1541ca79e1385afe96e著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .