一度kafkaのconsumer消費能力の低い処理案をまとめる


に質問
プロジェクトはspring-kafka操作で消費kafkaが最近消費速度が遅くなり、consumerが1つのデータを消費するのに平均200 msの時間がかかり、頻繁に発生し、consumerは10数秒の消費を停止する.
ログ解析
以下はログ記録で、consumerは時間が長く消費グループから落ちてから再加入します.
o.a.k.c.c.i.AbstractCoordinator:542 - Marking the coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) dead for group group.id 
o.a.k.c.c.i.AbstractCoordinator:505 - Discovered coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) for group group.id. 
o.a.k.c.c.i.ConsumerCoordinator:292 - Revoking previously assigned partitions [topic-12] for group group.id 
o.a.k.c.c.i.AbstractCoordinator:326 - (Re-)joining group group.id 
o.a.k.c.c.i.AbstractCoordinator$SyncGroupResponseHandler:434 - Successfully joined group group.id with generation 12182 
o.a.k.c.c.i.ConsumerCoordinator:231 - Setting newly assigned partitions [topic-12] for group group.id 

ソリューション
kafkaサービスプロファイルserver.propertiesシステム構成パラメータの向上
#Broker          
num.network.threads=cpu   1
#Broker    IO    
num.io.threads=cpu  2 ,     3 

kafkaサービスのバックアップと再起動