spark-master高可用性テスト
spark-master高可用性テスト:
1台目に他のノードが見つからず、ステータスはリーダー
コンディション選挙はCONNECTED
コンディション選挙はCONNECTED
クラスタの紹介
[spark-m]
172.20.101.157 sparkname=master01
172.20.101.164 sparkname=master02
172.20.101.165 sparkname=master03
[spark-s]
172.20.101.160 sparkname=slave01
172.20.101.166 sparkname=slave02
172.20.101.167 sparkname=slave03
[zookeeper]
172.20.101.157 myid=1
172.20.101.164 myid=3
172.20.101.165 myid=2
1台目のmasterを起動します。
[root@kubm-03 ~]# tailf /var/log/spark/spark-root-org.apache.spark.deploy.master.Master-1-kubm-03.out
.......
19/07/18 11:11:59 INFO ZooKeeperLeaderElectionAgent: We have gained leadership
19/07/18 11:11:59 INFO Master: I have been elected leader! New state: ALIVE
1台目に他のノードが見つからず、ステータスはリーダー
2台目のmasterを起動します。
[root@kubm-02 ~]# sh /usr/local/spark-2.4.3-bin-hadoop2.7/sbin/start-master.sh
.......
19/07/18 11:17:52 INFO ConnectionStateManager: State change: CONNECTED
コンディション選挙はCONNECTED
2台目のmasterを起動します。
[root@kubm-01 ~]# sh /usr/local/spark-2.4.3-bin-hadoop2.7/sbin/start-master.sh
.。。。。
19/07/18 11:15:09 INFO ConnectionStateManager: State change: CONNECTED
コンディション選挙はCONNECTED
リーダーノードサービスを閉じる
[root@kubm-03 ~]# sh /usr/local/spark-2.4.3-bin-hadoop2.7/sbin/stop-master.sh
少し待って、kubm-01ノードは新しいリーダーに選挙されます
[root@kubm-01 ~]#
19/07/18 11:19:33 INFO ZooKeeperLeaderElectionAgent: We have gained leadership
19/07/18 11:19:33 INFO Master: I have been elected leader! New state: ALIVE