Kafka関連コマンド

topicの作成

bin/kafka-topics.sh --create --zookeeper node-01:2181 --replication-factor 4 --partitions 3 --topic test

partitions

topicパーティション数を指定します.
topicをいくつのlogに分割するかを制御します.指定を表示できます.指定しない場合はserverが使用されます.propertiesのnum.partitions構成の数.
パーティション数を増やすとkafkaクラスタのスループットが向上しますが、パーティションが多すぎるか、1台のサーバ上のパーティション数が多すぎると、使用できない鶏の遅延のリスクが増加します.多くのパーティション数のため、多くのファイルハンドルを開き、ポイントからポイントへの遅延を増やし、クライアントのメモリ消費を増やす必要があります.
パーティション数もconsumerの並列度を制限し、すなわち並列consumerメッセージを制限したスレッド数が大きなパーティション数を区別できない.
パーティション数もproducer送信メッセージが指定されたパーティションであることを制限します.topicの作成時にパーティションが1に設定されている場合、producerがメッセージを送信するときにカスタムパーティションメソッドでパーティションを2以上指定してもエラーが発生します.この場合、alter-partitionsでパーティションを増やすことができます.

replication-factor

Replication-factor制御メッセージはいくつかのbroker(サーバ)に保存され、一般的にはbrokerに等しい個数未満である.
サーバは、作成時に指定またはAPIを介して存在しないtopic本番メッセージが表示されない場合に使用する.义齿replication.factor構成の数.
すべてのtopicリストを表示

bin/kafka-topics.sh --list --zookeeper node-01:2181

指定したtopic情報の表示

bin/kafka-topics.sh --zookeeper node-01:2181 --describe --topic test

　　Topic:test PartitionCount:3 ReplicationFactor:2 Configs: 　　Topic: test Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2 　　Topic: test Partition: 1 Leader: 1 Replicas: 1,0 Isr: 0,1 　　Topic: test Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2,1
topic向け生産データ

bin/kafka-console-producer.sh --broker-list node-01:9092 --topic test

消費topicのデータ

#      
bin/kafka-console-consumer.sh --zookeeper node-01:2181 --topic test
#         
bin/kafka-console-consumer.sh --zookeeper node-01:2181 --topic test --from-beginning

パーティション内のtopicのオフセットの表示

# time -1      ，time -2      
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --broker-list node-01:9092 --partitions 0

　　test:0:69

グループの消費状況の表示

bin/kafka-consumer-groups.sh --zookeeper node-01:2181 --describe --group console-consumer-71998

　　TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID 　　sync 　　 0 　　　　　　 5 　　　　　　   5 　　　　 0 　　  - 　　sync 　　 1 　　　　　　 5 　　　　　　   5 　　　　 0 　　  - 　　sync 　　 2 　　　　　　 5 　　　　　　   5 　　　　 0   　　-
TOPIC:作成時topic名称PARTITION:パーティション番号CURRENT-OFFSET:このparitionがどれだけのメッセージLOG-END-OFFSETを消費したかを示す:このpartitionがどれだけのメッセージLAGを書いたかを示す:どれだけのメッセージが消費されていないかを示す.CONSUMER-ID:消費者表示