Apache Kafkaキー要素4(コピー)

🚩 Replication

Brokerで障害が発生した場合、すべての障害のあるBrokerの構成は使用できません.

メーカーが書き込んだLOG-END-OFFSETとコンシューマグループのコンシューマは、読み取りと処理後に汎用CURRENT-OFSETとの差異(Consumer Lag)が発生する可能性があります.

この問題を解決するためにパーティションをコピーし、他のBroker上にコピーを作成し、

の障害を事前に準備する.

Replicas-リーダーと集権部門からなる

ProducerはLeaderのみを書き込み、ConsumerはLeaderから

のみを読み出す.

FollowはBrokerに障害が発生した場合のみ信頼性を提供し、LeaderのCommit LogからFetch Requestにデータをコピーする

リーダーに障害が発生した場合、Followerは新しいリーダー

を選択します.

クライアントは、新しいリーダー

に自動的に切り替えられます.

-ホットスポット防止

個のBrokerのみが部門リーダーである場合、特定のBrokerのクライアント(Producer/Consumer)のみが

に負荷を集中させる

auto.leader.rebalance.enable: 기본값 enable
leader.imbalance.check.interval.seconds: 기본값 300sec
leader.imbalance.per.broker.percentage: 기본값 10

上記設定値により、パーティションリーダーに自動的に割り当てることができます.

- Rack Awareness

同じラックまたは交換可能領域のBrokerに同じ「ラック名」

を指定します.

レプリカ(Replica Leader/Follower)は、ラックの障害と比較して、ラック間のバランスを最大限に維持します.

のアニメーションを作成するか、

を実行するのは自動データ交換/セルフスイッチクラスタ操作のみです.