Flinkタスクコミットモード

3834 ワード
bigdata

localモード

  • はローカルで実行され、クラスタ環境
    • は必要ありません.
  • IDE開発時、localモードはローカルテスト
    • に便利である.

    standalone

  • flinkクラスタ
    • を構築する必要がある
  • 提出命令
    flink run -m artemis-02:6123 -c com.test.WordCount2 ./Flink.jar hdfs://artemis-02:9000/tmp/lvxw/tmp/logs/words hdfs://artemis-02:9000/tmp/lvxw/tmp/out

    • flink on yarn

  • 注:このモードでは、flink(yarn-clientなど)を再解凍し、構成をしない(RM_WEBはジャンプできない)
  • yarnでクラスタを作成する
  • flinkクラスタ
    yarn-client/bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
yarn application -kill application_xxx_xxx  ( yarn flink )
    • を起動する
  • タスクをクラスタ
    yarn-client/bin/flink run -m xxx:xxx -c com.test.WordCount2 ./Flink.jar hdfs://artemis-02:9000/tmp/lvxw/tmp/logs/words hdfs://artemis-02:9000/tmp/lvxw/tmp/out
    • に送信
  • yarnで直接実行
  • タスク
    /home/hadoop/soft/flink/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c com.test.WordCount2 ./Flink.jar hdfs://artemis-02:9000/tmp/lvxw/tmp/logs/words hdfs://artemis-02:9000/tmp/lvxw/tmp/out
    • をコミット
    CockroachDBクラスタの構築と構成
    StateListDrawable cannot be cast to android.graphics.drawable.GradientDrawab