Flumeパフォーマンステストレポート

1.テスト環境

1.1ハードウェア

CPU:Intel(R)Core(TM)i 7-6700 [email protected] GHz(8コア)

メモリ:16 G

1.2ソフトウェア

Flume:1.6.0

Hadoop:2.6.0-cdh5.5.0

Kfaka:2.11-0.9.0.1

JDK:1.8.0_91-b 14 64ビット

1.3テストファイル

ファイルサイズ:107 M、合計490010件のレコード

1.4 Flume構成

(1)Source構成Flume Sourceはspooldir方式で,あらかじめ用意したテストファイルを直接読み出す.

agent.sources.source1.type = spooldir
agent.sources.source1.spoolDir=/data/flume/dir

1

2

1

2

(2)MemoryChannel構成

agent.channels.memoryChannel.capacity = 1000000
agent.channels.memoryChannel.transactionCapacity = 1000000
agent.channels.memoryChannel.type=memory

1

2

3

1

2

3

(3)FileChannel構成

agent.channels.fileChannel.type = file
agent.channels.fileChannel.checkpointDir = /data/flume/checkpoint
agent.channels.fileChannel.dataDirs = /data/flume/data

1

2

3

1

2

3

(4)JVM構成

JAVA_OPTS="-Xms256m -Xmx256m -Xss256k -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

1

1

2.書き込みファイルのパフォーマンス

Flume Config
Time(s)
Throughput(events/s)
MemoryChannel+FileSink
51
9608
FileChannel+FileSink
250
1960

3.書き込みKafka性能

Flume Config
Time(s)
Throughput(events/s)
KafkaSink+MemoryChannel
57
8597
KafkaChannel
50
9800
KafkaSink+FileChannel
830
590

4.HDFS性能を書き込む

Flume Config
Time(s)
Throughput(events/s)
FileChannel+HdfsSink
148
3311