kafka常用コマンド使用説明

現在のkafkaクラスタ内のtopicの状況を表示
コマンド:

bin/kafka-topics.sh --list --zookeeper127.0.0.1:2181

このzookeeperに記録されているtopicのリストをリストします.
Topicの作成
コマンド:

bin/kafka-topics.sh --create --topic test0 --zookeeper 127.0.0.1:2181 --config max.message.bytes=12800000 
--config flush.messages=1 --partitions 5 --replication-factor 1

説明:
--topicの後ろのtest 0はtopicの名前です
--ゾーキーはサーバーとpropertiesファイルのzookeeper.接続と同じ
--config現在のtopicで有効なパラメータ値を指定
--partitionsはtopicのpartition数を指定し、その数を指定しない場合はserverがデフォルトです.propertiesファイルのnum.partitions構成値
--replication-factorは各partitionのコピー数を指定し、デフォルトは1つ
topicの表示
コマンド:

/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test 

kafkaのtopicを削除
コマンド:

bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test0

もしserver.propertiesではdelete.topic.enableをtrueに設定すると、このときの削除は本当の削除ではなく、topicをmarked for deletionとマークします.
topicが消費したoffsetを表示
コマンド:

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic test0 --time -1

timeが-1の場合は最大値、-2の場合は最小値を表します.
実行結果:
test0:0:177496
test0:1:61414
TOpicのpartition数を変更する(増加するしか減少できない)
コマンド:

bin/kafka-topics.sh --alter --zookeeper 127.0.0.1:2183 --partitions 10 --topic test0

スタートkafka
コマンド:

bin/kafka-server-start.sh -daemon config/server.properties 

生産情報
コマンド:

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 

消費情報
最初から
コマンド:

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

末尾から
末尾からデータを取得するには、パーティションを指定する必要があります:コマンド:

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0

消費額の指定
コマンド:

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0 --max-messages 1 

消費者グループ
グループの指定
コマンド:

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test -group test_group --from-beginning

消費者グループリスト
コマンド:

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

グループの詳細の表示
コマンド:

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --describe

出力:

Consumer group 'test_group' has no active members.

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
test            0          5               5               0               -               -               -

# CURRENT-OFFSET:              offset，                
# LOG-END-OFFSET:          ，               ，                 
# LAG：     CURRENT-OFFSET   broker   LOG-END-OFFSET      

GroupからTopicを削除
コマンド:

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --topic test --delete

グループの削除
コマンド:

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --delete