flumeの原理と運行メカニズム

一、flumeの概要:

flume      、  、           、        。                 ，      ;  ，Flume           ，          (    、HDFS、Hbase )   ；
Flume    java   ，       Java1.6        

⑴Flumeのメリット

Flumeは、HDFS、HBAse

など、アプリケーションによって生成されたデータを任意の集中メモリに格納することができる.

データを収集する速度が書き込みデータを超える場合、つまり収集情報がピークに達した場合、収集情報は非常に大きく、システムの書き込みデータ能力を超える場合、Flumeはデータ生産者とデータ収容器との間で調整を行い、両者の間で共通の安定したデータを提供することを保証する.

は、コンテキストルーティング特徴

を提供する.

Flumeのパイプラインはトランザクションに基づいており、データの転送と受信時の一貫性が保証されている.

Flumeは信頼性が高く、フォールトトレランスが高く、アップグレード可能で、管理しやすく、カスタマイズ可能です.

(2)Flumeが持つ特徴:

Flumeは、複数のウェブサイトサーバで収集するログ情報をHDFS/HBAseの

に効率よく格納することができる.

Flumeを使用すると、複数のサーバから取得したデータをHadoopの

に迅速に移行できます.

ログ情報のほか、Flumeはフェイスブック、twitter、アマゾン、flipkartなどの

などの大規模なソーシャルネットワークノードのイベントデータを収集するためにも使用できます.

は、様々なアクセスリソースデータのタイプおよび受信データのタイプ

をサポートする.

はマルチパス流量、マルチパイプアクセス流量、マルチパイプ接続流量、コンテキストルーティングなどの

をサポートする.

は、水平に拡張することができる

.
二、アーキテクチャ
Flumeのアーキテクチャには主にいくつかのコア概念があります.
Event(イベント):flumeがデータを転送する基本単位であり、テキストファイルの場合、通常は1行のレコードであり、これもトランザクションの基本単位である.1つの転載データのバイト配列+1つのオプションヘッダから構成される.EventはSourceからChannelに流れ、Sinkに向かいます.典型的なFlumeイベントは、次のように構成されています.