Flink分散standalone配備方式(第2の方式)

3815 ワード

次に、上記のセクションで説明したように、ブラウザに入力されたアドレスhttp://swarm-manager:8088/clusterは、Flink分布式standalone部署方式(第二种方式)_第1张图片がアプリケーションを取得するように出力される.1569070146084_0001、それからコンソールで先にkillを落とす:./yarn application -kill application_1569070146084_0001 在这里插入图片描述 Flink分布式standalone部署方式(第二种方式)_第2张图片
Run a single Flink job on YARN
前に、1つのHadoop Yarn環境でFlinkクラスタを起動することを説明したが、1つのタスクを実行するだけでflink ./bin/flink run -m yarn-cluster -yn 1 ./examples/batch/WordCount.jarを起動することもでき、-m yarn-clusterはyarnクラスタを使用することを示し、-yn 1はtaskmanagerの数を表す.このタスクがコミットされると、すぐに実行できます:Flink分布式standalone部署方式(第二种方式)_第3张图片
タスクをカスタマイズし、Flinkクラスタにコミット
最も簡単なコードを書く
public class JavaHDFSBatchApp {
    public static void main(String[] args) throws Exception {
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSource dataSource = env.readTextFile("hdfs://swarm-manager:9000/LICENSE-2.0.txt");
        dataSource.print();
    }
}

既存のmavenに基づいてpom.xmlファイルを変更し、main classを指定します.

				org.apache.maven.plugins
				maven-shade-plugin
				3.0.0
				
					
					
						package
						
							shade
						
						
							
								
									org.apache.flink:force-shading
									com.google.code.findbugs:jsr305
									org.slf4j:*
									log4j:*
								
							
							
								
									
									*:*
									
										META-INF/*.SF
										META-INF/*.DSA
										META-INF/*.RSA
									
								
							
							
								
									com.vincent.course08.JavaHDFSBatchApp
								
							
						
					
				
			
maven installファイルspringboot-flink-train-1.0-shaded.jarを生成し、/home/iie4bu/app/flink-1.8.2/examples/batchの下にインポートし、コマンド:./bin/flink run -m yarn-cluster -yn 1 ./examples/batch/springboot-flink-train-1.0-shaded.jarを実行します.