Flinkコミット実行でよくある質問のまとめ
Flinkコミット実行でよくある質問のまとめ
一、問題1
1.問題の説明:
JarをFlinkクラスタにコミットするときに表示されます:java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated
可能な理由の説明:
この問題は、hadoopの構成情報を読み取ることができなかったため、
解決方法:
実行中./flink run -c cc.tt.mainClass ./root/myFlinkJar.JAr時アクティブ初期化hadoop環境
同時に、Flinkが提供する公式flink-hadoop依存パッケージを使用することを提案し、自身が提供するhadoopのjarピットはmaven中にpomが不完全である.xmlには、checkpoint機能を作成するには、この時点で構成する必要があるflinkの異なる公式パッケージの使用に依存します.
ps:他のmavenの依存項目は、私の別のブログを参照してください.https://blog.csdn.net/fct2001140269/article/details/84864151
二、問題の説明.
Flinkを実行するjarパッケージをコミット中にエラーが発生しました[Flink JobExecutionException:akka.client.timeout]
問題の分析:
表面的には、あなたのプロジェクトが所定の時間内に(Flinkクラスタのデフォルト構成では60 s)、あなたのプロジェクトが比較的大きい可能性があります.jobManagerプロセスは、Flinkの論理topology図の構築を所定の短時間で完了することが困難であるか、または所定の時間内に、各演算子(例えば、richMapFunction()の初期化などの作業を完了することが困難です.
解決策:
クラスタでは、jobジョブのコミットによって許可される構築と読み出しリソースの初期化の時間を増やすオプションを設定することを推奨します.
jarパッケージをクラスタに再コミットし、Web-uiでタスクのコミット状況を表示できるまでしばらく待つ.(失敗した場合、他にも異常の原因があるかもしれません!)
(その後、コミットで発生した異常な問題を徐々に追跡し、更新を継続...)
一、問題1
1.問題の説明:
JarをFlinkクラスタにコミットするときに表示されます:java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated
可能な理由の説明:
この問題は、hadoopの構成情報を読み取ることができなかったため、
解決方法:
実行中./flink run -c cc.tt.mainClass ./root/myFlinkJar.JAr時アクティブ初期化hadoop環境
HADOOP_HOME=/hadoop/hadoop-2.7.2
HADOOP_CONF_DIR=/hadoop/hadoop-2.7.2/etc/hadoop/
FLINK_HOME=/home/flink-1.4.2
同時に、Flinkが提供する公式flink-hadoop依存パッケージを使用することを提案し、自身が提供するhadoopのjarピットはmaven中にpomが不完全である.xmlには、checkpoint機能を作成するには、この時点で構成する必要があるflinkの異なる公式パッケージの使用に依存します.
<dependency>
<groupId>org.apache.flinkgroupId>
<artifactId>flink-shaded-hadoop2artifactId>
<version>1.4.2version>
dependency>
ps:他のmavenの依存項目は、私の別のブログを参照してください.https://blog.csdn.net/fct2001140269/article/details/84864151
二、問題の説明.
Flinkを実行するjarパッケージをコミット中にエラーが発生しました[Flink JobExecutionException:akka.client.timeout]
問題の分析:
表面的には、あなたのプロジェクトが所定の時間内に(Flinkクラスタのデフォルト構成では60 s)、あなたのプロジェクトが比較的大きい可能性があります.jobManagerプロセスは、Flinkの論理topology図の構築を所定の短時間で完了することが困難であるか、または所定の時間内に、各演算子(例えば、richMapFunction()の初期化などの作業を完了することが困難です.
解決策:
クラスタでは、jobジョブのコミットによって許可される構築と読み出しリソースの初期化の時間を増やすオプションを設定することを推奨します.
-akka.client.timeout:600s
-akka.ask.timeout:600s
jarパッケージをクラスタに再コミットし、Web-uiでタスクのコミット状況を表示できるまでしばらく待つ.(失敗した場合、他にも異常の原因があるかもしれません!)
(その後、コミットで発生した異常な問題を徐々に追跡し、更新を継続...)