【まとめ】Dataxの使用中に発生した問題

仕事中にアリのデータ同期ツールDataxを使って、redisを読み書きのデータソースとしてサポートしていない以外、ほとんどの一般的なタイプのデータソースをサポートしていることを発見しました.
使用中にいくつかの問題が発生しました.ここに記録します.
ps:Dataxの使い方は紹介しません.
 
質問シーン:
1、データはMySQLからHDFSに同期して、最終的にhiveで使用して、フィールドの値が時間の数値が同期中に8時間の差が現れることを発見します
解決方法:mysqlreaderのjdbcUrlパラメータは、次のようなタイムゾーンを指定します.

jdbc:mysql://127.0.0.1:3306/user?serverTimezone=Hongkong

 
2、データはHDFSからMySQLに同期し、あるtimestampタイプフィールドは‘000-00-00 00:00:00’と表示される
解決方法:このフィールドはMySQLが自動的に更新した(DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENR_TIMESTAMP)ので、同期時にこのフィールドを無視して、MySQLを自動的に生成させる.
ここで私はまた穴を踏んで、建てたhive表はこのフィールドの値を処理して、cast(null as timestamp)、これは間違ったやり方です