一度kafkaのconsumer消費能力の低い処理案をまとめる
1062 ワード
に質問
プロジェクトはspring-kafka操作で消費kafkaが最近消費速度が遅くなり、consumerが1つのデータを消費するのに平均200 msの時間がかかり、頻繁に発生し、consumerは10数秒の消費を停止する.
ログ解析
以下はログ記録で、consumerは時間が長く消費グループから落ちてから再加入します.
ソリューション
kafkaサービスプロファイルserver.propertiesシステム構成パラメータの向上
kafkaサービスのバックアップと再起動
プロジェクトはspring-kafka操作で消費kafkaが最近消費速度が遅くなり、consumerが1つのデータを消費するのに平均200 msの時間がかかり、頻繁に発生し、consumerは10数秒の消費を停止する.
ログ解析
以下はログ記録で、consumerは時間が長く消費グループから落ちてから再加入します.
o.a.k.c.c.i.AbstractCoordinator:542 - Marking the coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) dead for group group.id
o.a.k.c.c.i.AbstractCoordinator:505 - Discovered coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) for group group.id.
o.a.k.c.c.i.ConsumerCoordinator:292 - Revoking previously assigned partitions [topic-12] for group group.id
o.a.k.c.c.i.AbstractCoordinator:326 - (Re-)joining group group.id
o.a.k.c.c.i.AbstractCoordinator$SyncGroupResponseHandler:434 - Successfully joined group group.id with generation 12182
o.a.k.c.c.i.ConsumerCoordinator:231 - Setting newly assigned partitions [topic-12] for group group.id
ソリューション
kafkaサービスプロファイルserver.propertiesシステム構成パラメータの向上
#Broker
num.network.threads=cpu 1
#Broker IO
num.io.threads=cpu 2 , 3
kafkaサービスのバックアップと再起動