Dataxベースのデータ同期可視化プラットフォーム

885 ワード

一、需要
DataXアリのオープンソース時には何の可視化インタフェースも提供されていません.私たちは使用中、JsonプロファイルをDataxのjobパスの下に置く必要があります.業務の増加に伴い、プロファイルの管理が不便になり、実行するたびにコマンドを変更する必要があります.非常に不便です.
二、プラットフォームの紹介
プラットフォームは主にデータ同期、データ処理などのETL操作に用いられる.プラットフォームはアリのオープンソース同期ツールdatax 3に基づいている.0開発.プラットフォーム開発言語Java 8.プラットフォームの稼働環境には要求がありません.データベースMysql 5.7.Python環境推奨Python 2.7.プロジェクトのアドレス:https://github.com/WeiYe-Jing/springboot-datax
プロジェクトの実行
1.dataxパッケージ後のファイルをダウンロードするかgithubでdataxコードパッケージを引き出し、環境変数を構成します.
 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2.datax-web/dbの下のsqlファイルを実行し、アプリケーションを変更する.ymlデータベース構成情報.
3. application.yml構成データ抽出ログファイル保存パス.
etlLogDir: D:\temp\logs\datax-web\

4.Webページを開き、ジョブを開始します.
http://localhost:8080/index.html#/datax/job

5.オンラインでJobを構成する.
6.設定したタスクを選択し、起動タスクをクリックすると、リアルタイムログ出力が表示されます.