GCPのBigQueryへテーブルデータを書きこむ
datastoreへデータを書きこむと同時に、書きこんだ内容を分析用にBigQueryにも書きこみたかったのですが、
一行ずつ書きこんだり、はすぐに見つかったものの、やりたいことどんぴしゃな情報をみつけるまで時間がかかったので、ちょこっとメモ。
ローカルのpandas.DataFrameをBigQueryへ書きこむ方法になります
clientの取得
本記事の対象外です。
from google.cloud import bigquery
bq_client = bigquery.Client() # 必要に応じてproject_id等渡して下さい
書き込み
insert_rows_from_dataframeを使います。
write_table_data = pd.DataFrame({"x": [1,2,3]})
target_table_id = "example_project.example_dataset.example_table"
bq_client.insert_rows_from_dataframe(
bq_client.get_table(target_table_id ),
write_table_data )
こんな感じです。
書き込み先テーブルについてget_tableを使うか、selected_fields 引数でスキーマの指定を行わないとエラーを吐きます。
参考
Author And Source
この問題について(GCPのBigQueryへテーブルデータを書きこむ), 我々は、より多くの情報をここで見つけました https://qiita.com/timtoronto634/items/06a80bdaae62efa8c2fc著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .