Flank展開-standloneモード
設置環境情報
構築が完了したことを示しました.これからクラスタを検証します.
start-scala-shell.shを使用して、
1.ローカル接続
web urlでも詳細な情報を見ることができる.
異常状況に遭遇しました.こちらはScalをインストールしたために通信が失敗しました.Scalの環境情報を削除すればいいです.具体的な問題はまだよく分かりません.後で調べてから分かります.
flink-1.6.2-bin-hadoop27-scala_2.11.tgz
hadoop-2.7.5
java 1.8
zookeeper 3.4.6
os:centos 6.4
1、flinkに直接行くコミュニティをダウンロードすればいいです.http://flink.apache.org/downloads.html 2、ストレス解消 tar -zxvf flink-1.6.2-bin-hadoop27-scala_2.11.tgz
3、環境変数を修正する~.bash_profileexport FLINK_HOME=/opt/flink-1.6.2
export PATH=$FLINK_HOME/bin:$PATH
4、flink-conf.yamlのプロファイルを修正し、簡単なバージョン、standalneのパターンを設定します.Hadoop nameservice
jobmanager.rpc.address: cdh1
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 12
5、slaavesとmastersの2つのファイルを修正して、taskmanagerとJobManagerの情報を配置するために使用します.[hadoop@cdh1 conf]$ cat slaves
cdh2
cdh3
cdh4
cdh5
[hadoop@cdh1 conf]$ cat masters
cdh1:8081
6、flankをインストールしたすべての情報はすでに環境情報を他のマシンに同期させました.ここで何台かのマシンが実行されます.scp .bash_profile hadoop@cdh3:~/.bash_profile
scp -r ./flink-1.6.2 hadoop@cdh3:/opt/
7、flank[を起動しますhadoop@cdh1bin.//start-cluster.sh 8、起動完了しました.すでにjpsが使えます.JobManagerとTaskyManagerの2つのプロセスがそれぞれ見られます.[hadoop@cdh1 bin]$ jps
3866 StandaloneSessionClusterEntrypoint
[hadoop@cdh2 ~]$ jps
3534 TaskManagerRunner
8、JobManagerの住所を登録してuiを見るhttp://192.168.18.160:8081 構築が完了したことを示しました.これからクラスタを検証します.
start-scala-shell.shを使用して、
${FLINK_HOME}/bin/start-scala-shell.sh
がflinkによって提供されるインタラクティブclinetであることを検証し、コードセグメントのテストに利用でき、開発作業に便利である.これは2つの起動方式があり、1つはローカルで動作し、もう1つはクラスタに動作する.本例ではマシン接続が非常に便利なので、クラスタを直接使用してテストを行い、開発においてクラスタ接続が非常に不便であれば、ローカル開発テストに接続してクラスタに接続して配置作業を行うことができる.プログラムに依存するjarパケットがある場合、−aまたは--addclasspathパラメータを使用して依存性を追加することができる.1.ローカル接続
${FLINK_HOME}/bin/start-scala-shell.sh local
2.クラスタ接続${FLINK_HOME}/bin/start-scala-shell.sh remote
3.依存パケットの書式を持つ${FLINK_HOME}/bin/start-scala-shell.sh [local|remote] --addclasspath
4.ヘルプの表示${FLINK_HOME}/bin/start-scala-shell.sh --help
[hadoop@cdh2 bin]$ ./start-scala-shell.sh --help
Flink Scala Shell
Usage: start-scala-shell.sh [local|remote|yarn] [options] ...
Command: local [options]
Starts Flink scala shell with a local Flink cluster
-a, --addclasspath
Specifies additional jars to be used in Flink
Command: remote [options]
Starts Flink scala shell connecting to a remote cluster
Remote host name as string
Remote port as integer
-a, --addclasspath
Specifies additional jars to be used in Flink
Command: yarn [options]
Starts Flink scala shell connecting to a yarn cluster
-n, --container arg Number of YARN container to allocate (= Number of TaskManagers)
-jm, --jobManagerMemory arg
Memory for JobManager container
-nm, --name Set a custom name for the application on YARN
-qu, --queue Specifies YARN queue
-s, --slots Number of slots per TaskManager
-tm, --taskManagerMemory
Memory per TaskManager container
-a, --addclasspath
Specifies additional jars to be used in Flink
--configDir The configuration directory.
-h, --help Prints this usage text
私たちはクラスタモードを使って検証します.[hadoop@cdh1 bin]$ ./start-scala-shell.sh remote 192.168.18.160 8081
次のケースコードを実行します.Scala> val text = benv.fromElements(
"To be, or not to be,--that is the question:--",
"Whether 'tis nobler in the mind to suffer",
"The slings and arrows of outrageous fortune",
"Or to take arms against a sea of troubles,")
Scala> val counts = text
.flatMap { _.toLowerCase.split("\\W+") }
.map { (_, 1) }.groupBy(0).sum(1)
Scala> counts.print()
運転結果web urlでも詳細な情報を見ることができる.
異常状況に遭遇しました.こちらはScalをインストールしたために通信が失敗しました.Scalの環境情報を削除すればいいです.具体的な問題はまだよく分かりません.後で調べてから分かります.
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.flink.streaming.api.functions.source.SocketTextStreamFunction.run(SocketTextStreamFunction.java:96)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:94)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:58)
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask.run(SourceStreamTask.java:99)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:300)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:711)
at java.lang.Thread.run(Thread.java:745)
2018-11-19 01:49:52,298 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph
- Job Socket Window WordCount (8b38f995aa8e61fd520b61e0888ecd46) switched from state RUNNING to FAILING.
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.flink.streaming.api.functions.source.SocketTextStreamFunction.run(SocketTextStreamFunction.java:96)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:94)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:58)
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask.run(SourceStreamTask.java:99)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:300)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:711)
at java.lang.Thread.run(Thread.java:745)