bqコマンドでデータセットを指定するとデータセット配下のテーブルを削除するようにした

2823 ワード

概要

お掃除等のタイミングで、不要になったデータセット配下のテーブルをまるっと削除したい時用のスクリプトを書きました。
データセットごと削除してしまうと、やっぱりあのテーブル必要だった！？と発覚したときに復元できないので、
データセットを削除せず、テーブルを削除するようにしています。

使い方

スクリプトを実行するときにデータセットIDを渡すだけです。
プロジェクトIDは明示的にスクリプト内に記載します。

bash bq_rm_dataset_tables.sh dataset_id

スクリプト

bq_rm_dataset_tables.sh


#!/bin/bash

# project_id は明示的に固定しておく
project_id=hogehoge
dataset_id=$1

# cf. https://qiita.com/okisanjp/items/7985ddb9b1b00f1617a9
# mac は /bin/echo としないと -n がうまく動作しない
/bin/echo -n "bq rm ${project_id}:${dataset_id}.tables? [y/n]"
read answer

if [ "$answer" = "y" ]; then

  # 明示的に区切り文字を改行コードにする
  IFS=$'\n';
  # bq ls dataset | TABLE行のみ取得 | TABLE以降の文字列を削除 | 空白削除
  for LINE in `bq ls ${project_id}:${dataset_id} | grep TABLE | sed 's/TABLE.*//g' | sed 's/ //g '`
  do
    yes | bq rm ${project_id}:${dataset_id}.${LINE}
  done

fi

Author And Source

この問題について(bqコマンドでデータセットを指定するとデータセット配下のテーブルを削除するようにした), 我々は、より多くの情報をここで見つけました https://qiita.com/mida12251141/items/d7be80e63803e425a03a

著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。

Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .

CAS操作とAtomicInterger