Kafkaクラスタ拡張

#ディレクトリ1、前置き2、クラスタ拡張概要3、Zookeeperクラスタ拡張4、Kafkaクラスタ拡張
#詳細手順
###1、前書き本書は前編「kafka環境構築説明」の姉妹編で、kafkaのクラスタ拡張###2、クラスタ拡張概要前編でkafkaの構築に使用したのはkafkaが持参したzookeeperであるため、今回のKafkaの拡張は2つの部分を含む:zookeeperクラスタ拡張とkafkaクラスタ拡張
Kafkaクラスタ拡張の準備:

*    3   ，IP   ：10.25.74.234、10.27.22.6、10.27.22.178
*   2   ，IP     ：10.28.9.32、10.28.8.123；

配置環境は、前の記事を参照してください.
###3、Zookeeperクラスタ拡張####3.1、プロファイルの変更
(1)構成/kafka_2.11-0.9.0.1/config/zookeeper.properties、構成内容は以下の通りです.

tickTime=2000
dataDir=/srv/zookeeper/
clientPort=2181
initLimit=10
syncLimit=5
    server.1=10.25.74.234:2888:3888
    server.2=10.27.22.6:2888:3888
    server.3=10.27.22.178:2888:3888
    server.4=10.28.8.123:2888:3888      ##  
server.5=10.28.9.32:2888:3888       ##  

次に、コマンドを使用してZookeeperホストIDを作成します.

echo “4” > /srv/zooieeper/myid         ##  
echo  “5”> /srv/zooieeper/myid           ##  

(2)新しい4と5サーバを起動するZookeeper:必ずsrvadminユーザーを使うことに注意

/srv/kafka_2.11-0.10.0.1/bin/zookeeper-server-start.sh /srv/kafka_2.11-0.10.0.1/config/zookeeper.properties  &

###3.2、クラスタの状況を確認する
4サーバと5サーバでZookeeperの実行状況をそれぞれ表示し、followerが発生した場合:

echo stat | nc  10.28.8.123 2181

コマンドの戻り値:

Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Clients:
/192.168.1.184:35620[0](queued=0,recved=1,sent=0)
Latency min/avg/max: 0/4/117
Received: 37394
Sent: 37399
Connections: 1
Outstanding: 0
Zxid: 0x10000e33f
Mode: follower
Node count: 30

echo stat | nc 10.28.9.32 2181

コマンドの戻り値:

Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Clients:
 /192.168.1.184:60265[0](queued=0,recved=1,sent=0)
 /192.168.1.184:54585[1](queued=0,recved=32586,sent=32587)
 /192.168.1.203:1842[1](queued=0,recved=32563,sent=32565)
Latency min/avg/max: 0/1/297
Received: 95473
Sent: 95474
Connections: 3
Outstanding: 0
Zxid: 0x10000e4bf
Mode: follower
Node count: 30

返されない場合は、Zookeeperホストに問題があることを示します.Zookeeperクラスタ内のノードに問題がない場合は、クラスタ構築が成功したことを示します.
参照ドキュメント:
http://blog.csdn.net/hackerwin7/article/details/43559991
問題がなければ、他の3台の古いzookeeperサービスを再起動し、zookeeperの実行状況を確認するには、次のようなロールが必要です.

Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Clients:
/10.28.9.32:33035[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/3
Received: 1485
Sent: 1484
Connections: 1
Outstanding: 0
Zxid: 0x400000351
Mode: leader         （      leader）
Node count: 381

###4、Kafkaクラスタ拡張######4.1、プロファイルの変更
(1)4台目のサーバの構成/srv/kafka/config/server.properties、構成内容は以下の通りです.

broker.id=204  (   3       )
port=9092
listeners=PLAINTEXT://IP:9092
advertised.host.name=IP
log.dirs=/data/log/kafka-logs
zookeeper.contact=10.25.74.234:2181,10.27.22.6:2181,10.27.22.178:2181,10.28.8.123:2181,10.28.9.32:2181

(2)5台目のサーバの構成/srv/kafka/config/server.properties、構成内容は以下の通りです.

broker.id=205  (   4       )
port=9092
listeners=PLAINTEXT://IP:9092
advertised.host.name=IP
log.dirs=/data/log/kafka-logs
zookeeper.contact=10.25.74.234:2181,10.27.22.6:2181,10.27.22.178:2181,10.28.8.123:2181,10.28.9.32:2181

(3)Kafkaクラスタ起動
まず新たに2台のkafkaを起動し、正常にチェックしてから古い3台のkafkaを再起動し、必ずsrvadminユーザーを使うように注意する.
起動コマンド:

/srv/kafka_2.11-0.10.0.1/bin/kafka-server-start.sh /srv/kafka_2.11-0.10.0.1/config/server.properties &

コマンドを使用してkafkaの情報を表示します.

srv/kafka_2.11-0.10.0.1/bin/kafka-topics.sh --describe --zookeeper 10.28.9.32:2181

結果として、204および205のノードは、新しいTopicに追加された

Topic:test-new-kafka-node-5	PartitionCount:20	ReplicationFactor:2	Configs:
	Topic: test-new-kafka-node-5	Partition: 0	Leader: 205	Replicas: 205,201	Isr: 205,201
	Topic: test-new-kafka-node-5	Partition: 1	Leader: 201	Replicas: 201,202	Isr: 201,202
	Topic: test-new-kafka-node-5	Partition: 2	Leader: 202	Replicas: 202,203	Isr: 202,203
	Topic: test-new-kafka-node-5	Partition: 3	Leader: 203	Replicas: 203,204	Isr: 203,204
	Topic: test-new-kafka-node-5	Partition: 4	Leader: 204	Replicas: 204,205	Isr: 204,205
	Topic: test-new-kafka-node-5	Partition: 5	Leader: 205	Replicas: 205,202	Isr: 205,202
	Topic: test-new-kafka-node-5	Partition: 6	Leader: 201	Replicas: 201,203	Isr: 201,203
	Topic: test-new-kafka-node-5	Partition: 7	Leader: 202	Replicas: 202,204	Isr: 202,204
	Topic: test-new-kafka-node-5	Partition: 8	Leader: 203	Replicas: 203,205	Isr: 203,205
	Topic: test-new-kafka-node-5	Partition: 9	Leader: 204	Replicas: 204,201	Isr: 204,201
	Topic: test-new-kafka-node-5	Partition: 10	Leader: 205	Replicas: 205,203	Isr: 205,203
	Topic: test-new-kafka-node-5	Partition: 11	Leader: 201	Replicas: 201,204	Isr: 201,204
	Topic: test-new-kafka-node-5	Partition: 12	Leader: 202	Replicas: 202,205	Isr: 202,205
	Topic: test-new-kafka-node-5	Partition: 13	Leader: 203	Replicas: 203,201	Isr: 203,201
	Topic: test-new-kafka-node-5	Partition: 14	Leader: 204	Replicas: 204,202	Isr: 204,202
	Topic: test-new-kafka-node-5	Partition: 15	Leader: 205	Replicas: 205,204	Isr: 205,204
	Topic: test-new-kafka-node-5	Partition: 16	Leader: 201	Replicas: 201,205	Isr: 201,205
	Topic: test-new-kafka-node-5	Partition: 17	Leader: 202	Replicas: 202,201	Isr: 202,201
	Topic: test-new-kafka-node-5	Partition: 18	Leader: 203	Replicas: 203,202	Isr: 203,202
	Topic: test-new-kafka-node-5	Partition: 19	Leader: 204	Replicas: 204,203	Isr: 204,203