Flink分散standalone配備方式(第2の方式)
次に、上記のセクションで説明したように、ブラウザに入力されたアドレス
Run a single Flink job on YARN
前に、1つのHadoop Yarn環境でFlinkクラスタを起動することを説明したが、1つのタスクを実行するだけでflink
タスクをカスタマイズし、Flinkクラスタにコミット
最も簡単なコードを書く
既存のmavenに基づいてpom.xmlファイルを変更し、main classを指定します.
http://swarm-manager:8088/cluster
は、がアプリケーションを取得するように出力される.1569070146084_0001、それからコンソールで先にkillを落とす:./yarn application -kill application_1569070146084_0001
Run a single Flink job on YARN
前に、1つのHadoop Yarn環境でFlinkクラスタを起動することを説明したが、1つのタスクを実行するだけでflink
./bin/flink run -m yarn-cluster -yn 1 ./examples/batch/WordCount.jar
を起動することもでき、-m yarn-cluster
はyarnクラスタを使用することを示し、-yn 1
はtaskmanagerの数を表す.このタスクがコミットされると、すぐに実行できます:タスクをカスタマイズし、Flinkクラスタにコミット
最も簡単なコードを書く
public class JavaHDFSBatchApp {
public static void main(String[] args) throws Exception {
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
DataSource dataSource = env.readTextFile("hdfs://swarm-manager:9000/LICENSE-2.0.txt");
dataSource.print();
}
}
既存のmavenに基づいてpom.xmlファイルを変更し、main classを指定します.
org.apache.maven.plugins
maven-shade-plugin
3.0.0
package
shade
org.apache.flink:force-shading
com.google.code.findbugs:jsr305
org.slf4j:*
log4j:*
*:*
META-INF/*.SF
META-INF/*.DSA
META-INF/*.RSA
com.vincent.course08.JavaHDFSBatchApp
maven install
ファイルspringboot-flink-train-1.0-shaded.jar
を生成し、/home/iie4bu/app/flink-1.8.2/examples/batch
の下にインポートし、コマンド:./bin/flink run -m yarn-cluster -yn 1 ./examples/batch/springboot-flink-train-1.0-shaded.jar
を実行します.