トレジャーデータ

宝のデータは、主要なCDPプラットフォームとレバレッジ自体のデータパイプラインのDAGを掘るです.Digdagは気流に似ています
とオープンソースとして利用可能です.CDPは、強力なプラットフォームですが、残念ながら、それはハードボード上のボードを視覚化する簡単な方法
いくつかの複雑なパイプラインが既に構築されている場合.それで、私は自分のためにこの問題を解決するために、以下の手順を踏んだ.

解決アプローチ

可視化の作成

メイクカラフル

更新は、グラフのたびにコードの変更です.

それをCICDの一部にしてください

Navigate to html

インストール

pip install -r requirements.txt

使用例

グラフが更新される必要があるプロジェクトで、行131を更新します.

Pythonプログラムを実行してグラフを生成します.

藤堂

dirname名をパラメータ化します( line 131 ).

変更時にグラフを生成するGithubワークフローを作成します.

フォルダレベルでの変更を識別する

変更を伴う各フォルダのPythonスクリプト

そのグラフを枝に戻す

参考文献

https://github.com/y-abe/digdag-graph