FlumeとKafkaを統合してリアルタイムデータ収集を完了

私のこの3つのブログFlumeアプリケーションケースの2台のサーバーの間でリアルタイムデータ収集と分散メッセージキューKafkaの概要と環境インストールの配置Flumeアプリケーションケースの監視を行い、1つのファイルのリアルタイム収集の新しいデータをコンソールに出力してavro-memory-logger.confをavro-memory-kafkaに変更した.confの内容は以下の通りです.

avro-memory-kafka.sources = avro-source
avro-memory-kafka.sinks = kafka.sink
avro-memory-kafka.channels = memory-channel


avro-memory-kafka.sources.avro-source.type = avro
avro-memory-kafka.sources.avro-source.bind = zq
avro-memory-kafka.sources.avro-source.port = 44444


avro-memory-kafka.sinks.kafka.sink.type = org.apache.flume.sink.kafka.KafkaSink
avro-memory-kafka.sinks.kafka.sink.brokerlist = zq:9092
avro-memory-kafka.sinks.kafka.sink.topic = topic_test
avro-memory-kafka.sinks.kafka.sink.batchSize = 5
avro-memory-kafka.sinks.kafka.sink.requiredAcks = 1 


avro-memory-kafka.channels.memory-channel.type = memory


avro-memory-kafka.sources.avro-source.channels = memory-channel
avro-memory-kafka.sinks.kafka-sink.channel = memory-channel

zookeeperを最初に起動し、kafkaをその後avro-memory-kafkaをそれぞれ起動する.confとexec-memory-avro.conf再起動kafkaの消費者詳細は冒頭の私の3つのブログを参照して最後にテストを開始します:もう1つの端末を開いて、dataに行きます.logファイルの中でデータを転送するのは少し遅いです.前のバッチ数が5であるため、batchSize=5 5 5データが5つずつあると、すぐに応答してコンソールに表示されます.このようにFlumeとKafkaを統合してリアルタイムのデータ収集を完了するタスクが完了します.