Cloud Composer から実行する Cloud Dataflow のリージョンが他のものを指定しても us-east1 になってしまう問題
問題
2020-01 時点で発生。
Cloud Composer から実行する Cloud Dataflow はその実行リージョンを指定することができるのだが、
https://airflow.apache.org/docs/stable/_modules/airflow/contrib/operators/dataflow_operator.html
default_args = {
'owner': 'example',
'start_date': datetime(2020, 1, 1),
'dataflow_default_options': {
'project': 'example-project-id',
'region': 'asia-northeast1'
}
}
with DAG(
'example_dag',
default_args=default_args,
schedule_interval=None
)as dag:
taskImport = DataflowTemplateOperator(
task_id='dataflow',
template='gs://example-templates/templates/hoge',
dag=dag
)
実際に実行すると、ここで指定したリージョンではなく us-east1
になってしまう。
解決法
Airflow のバグなのでバージョンを上げる必要あり。
https://issues.apache.org/jira/browse/AIRFLOW-2715
2019-05-16 に GCP 上でバックポート修正版がリリースされている。
GCP 版 Airflow のバージョンが 1.10.2 以降で対応。
https://cloud.google.com/composer/docs/release-notes#May_16_2019
2020-01 現在、Terraform でバージョン指定なしで Cloud Composer 環境を作成したときには GCP 版 Airflow のバージョンが 1.10.2 より低いものになっているので注意。
resource "google_composer_environment" "example" {
name = "example-composer"
config {
software_config {
image_version = "composer-latest-airflow-1.10"
}
}
Author And Source
この問題について(Cloud Composer から実行する Cloud Dataflow のリージョンが他のものを指定しても us-east1 になってしまう問題), 我々は、より多くの情報をここで見つけました https://qiita.com/ptiringo/items/c626fbb7061fef7eef67著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .