kafka実戦事例分析まとめ

前言

kafkaの基本的な特徴と概念を紹介する.

応用需要設計シーンと結びつけて、MQの選択型とkafkaの実際の応用と生産監視技術を紹介する.

kafkaの主な特徴の紹介
Kafka is a distributed,partitioned,replicated commit logservice.JMSと同様の特性を提供するが、設計実装では全く異なり、JMS仕様の実装ではない.kafkaはメッセージ保存時にTopicに従って分類し,送信メッセージはProducer,メッセージ受信者はConsumer,またkafkaクラスタは複数のkafkaインスタンスからなり,各インスタンス(server)はbrokerとなる.kafkaクラスタでもproducerおよびconsumerでもzookeeperに依存して、システム可用性クラスタがmeta情報を保存することを保証します.
1. Producers

Producer         Topic ,  Producer             partition。

2. Consumers

   kafka   Topic.  consumer    consumer group;    ,  group      consumer.   Topic   ,      Topic   group    consumer  .
     consumer      group,     queue    ;     consumers      .
     consumer      group,    "  -  ";             .

3. topic

    Topic         ，  topic      partition( ),  partition      append log  。      partition           log     ，             offset（   ），offset   long   ，          。          。kafka                 offset，   kafka               。offset    zookeeper 。

kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 3 –topic page_visits
replication-factorノードディレクトリでは、次のコマンド(replication-factorがkafkaノード数に設定されています):partitions-指定されたスライスの数の上にあるtopicを確立するコマンドを実行し、1つのreplicationノードの下にのみ置かれる3つのpartitionを作成します.
3. partition
4. Distribution
kafkaフィーチャーの説明については、次の参照を参照してください.http://www.cnblogs.com/likehua/p/3999538.html
受注スナップショットログ分析
1.需要
ゲートウェイから受注情報を取得するスナップショットを、非同期でバックエンドに送信し、取得クライアントが受注操作するたびに、キー要素の前後変化を照合することを比較します.受注ライフサイクル内の完全なログ情報を形成します.注文の詳細に表示されます.
2.第1版設計
kafkaの秩序性,高可用性,重複メッセージ特性を組み合わせて,kafkaを非同期バッファとして用いた.注文スナップショットをmongodbに保存してからquartzタイミング分析を採用します.このスキームを採用すると、データ量がますます大きくなるにつれて、quartzはデータを一括分析するたびに失敗しやすい.第二に、スナップショットの結果をビジネスが即時に表示する必要が強い.
3.第2版設計

 kafka cunsumer ，       。  kafka               。      ，  mongodb         ，       。      cunsumer     ，broker          。 

./kafka-consumer-groups.sh –zookeeper localhost:2181/kafka –describe –group group-1
上記のコマンドで自分のパケットを指定すると、topicのメッセージ記録結果は次のようになります.
GROUP
TOPIC
PID
OFFSET
LOGSIZE
LAG
消費者グループ
トピックid
パーティションid
現在消費されているエントリ数
合計バー数
未消費の項目数
生産環境では、安定した消費を応用することができ、第1の方案よりも安定し、顧客体験もよりタイムリーである.