[VertexAI Pipeline]#3コンポーネントを作成する２つの方法

import kfp
from kfp.v2.dsl import component #コンポーネント作成用
from kfp import dsl #パイプライン作成用
from kfp.v2 import compiler #コンパイラ用
import google.cloud.aiplatform as aip
from kfp.components import func_to_container_op #メソッドをコンポーネント化するライブラリ

name: hello-world
metadata:
implementation:
  container:
    image: docker/whalesay:latest
    command: [cowsay]
    args: ["hello world"]

#手順1 方法1でのコンポーネントの作成
# コンテナイメージを指定したyamlファイルを読込みコンポーネント作成
# 事前にhelloworld.yamlを作成しクジラにメッセージを出力するdocker imageを指定しておく

#load_component_from_fileメソッドを利用してyamlファイルを読込む
hw_op = kfp.components.load_component_from_file(
    './helloworld.yaml'
)

#手順2 方法2でのコンポーネントの作成
# func_to_container_opを利用して関数をコンポーネント化する
# 今回はデコレータの動きを実感するためにデコレータを利用せずに実装してみる

# 1つめの関数として足し算を行う関数を作成
def add(a: float, b: float) -> float:
    print("Adding two values %s and %s" %(a, b))
    return a + b

# 2つめの関数としてこれを表示する関数を作成
def show_rusult(result: float):
    print("rusult is {}".format(result))

# func_to_container_op関数を利用して２つの関数をコンポーネント化
# もちろん@func_to_container_opとしてデコレータで実装してもOK
add_op = kfp.components.func_to_container_op(func = add,
                                             base_image = "python:alpine")

show_rusult_op = kfp.components.func_to_container_op(func = show_rusult,
                                             base_image = "python:alpine")

#手順3 パイプラインの作成
@dsl.pipeline(name="tuto-pipeline3")
def tuto_pipeline(
        a:float =1,
        b:float =2,
        c:float =3,
):
    hw_op()
    add_task_1 = add_op(a, b)
    add_task_2 = add_op(b, c)
    add_task_3 = add_op(add_task_1.output,add_task_2.output)
    show_rusult_task = show_rusult_op(add_task_3.output)
    pass
    ```

## 4.コンパイルする対象のパイプラインと出力json名を指定してコンパイルを実行(前回までと同様）
前回までと同様にコンパイルを行います。
```python
# コンパイル
# 手順3:コンパイルする対象のパイプラインと出力json名を指定してコンパイルを実行
compiler.Compiler().compile(
    pipeline_func = tuto_pipeline,
    package_path  = "/home/npprw160/Sandbox/kpf/tuto_pipeline_v3.json",
)

# パイプラインの実行
# 手順4:コンパイルしたパイプラインの実行
aip.init(
    project="awesome-height-240603",
    location="us-central1"
)

aip.PipelineJob(
    display_name = "Pipeline基礎編",
    template_path = "/home/npprw160/Sandbox/kpf/tuto_pipeline_v3.json",
    pipeline_root = "gs://vertex_chameleon_data"
).run()

import kfp
from kfp.v2.dsl import component #コンポーネント作成用
from kfp import dsl #パイプライン作成用
from kfp.v2 import compiler #コンパイラ用
import google.cloud.aiplatform as aip
from kfp.components import func_to_container_op #メソッドをコンポーネント化するライブラリ

#やりたいこと
#下記の２つのコンポーネント作成方法を試す
#方法1.作成済みのコンテナイメージをコンポーネント化する方法
#方法2.関数をコンポーネント化する方法


#手順1 方法1でのコンポーネントの作成
# コンテナイメージを指定したyamlファイルを読込みコンポーネント作成
# 事前にhelloworld.yamlを作成しクジラにメッセージを出力するdocker imageを指定しておく

#load_component_from_fileメソッドを利用してyamlファイルを読込む
hw_op = kfp.components.load_component_from_file(
    './helloworld.yaml'
)

#手順2 方法2でのコンポーネントの作成
# func_to_container_opを利用して関数をコンポーネント化する
# 今回はデコレータの動きを実感するためにデコレータを利用せずに実装してみる

# 1つめの関数として足し算を行う関数を作成
def add(a: float, b: float) -> float:
    print("Adding two values %s and %s" %(a, b))
    return a + b

# 2つめの関数としてこれを表示する関数を作成
def show_rusult(result: float):
    print("rusult is {}".format(result))

# func_to_container_op関数を利用して２つの関数をコンポーネント化
# もちろん@func_to_container_opとしてデコレータで実装してもOK
add_op = kfp.components.func_to_container_op(func = add,
                                             base_image = "python:alpine")

show_rusult_op = kfp.components.func_to_container_op(func = show_rusult,
                                             base_image = "python:alpine")

#手順3 パイプラインの作成
@dsl.pipeline(name="tuto-pipeline3")
def tuto_pipeline(
        a:float =1,
        b:float =2,
        c:float =3,
):
    hw_op()
    add_task_1 = add_op(a, b)
    add_task_2 = add_op(b, c)
    add_task_3 = add_op(add_task_1.output,add_task_2.output)
    show_rusult_task = show_rusult_op(add_task_3.output)
    pass

# コンパイル
# 手順3:コンパイルする対象のパイプラインと出力json名を指定してコンパイルを実行
compiler.Compiler().compile(
    pipeline_func = tuto_pipeline,
    package_path  = "/home/npprw160/Sandbox/kpf/tuto_pipeline_v3.json",
)


# パイプラインの実行
# 手順4:コンパイルしたパイプラインの実行
aip.init(
    project="awesome-height-240603",
    location="us-central1"
)

aip.PipelineJob(
    display_name = "Pipeline基礎編",
    template_path = "/home/npprw160/Sandbox/kpf/tuto_pipeline_v3.json",
    pipeline_root = "gs://vertex_chameleon_data"
).run()

name: hello-world
metadata:
implementation:
  container:
    image: docker/whalesay:latest
    command: [cowsay]
    args: ["hello world"]

 python pipeline_v3.py