Flume Log 4 J Appender Flume収集Log 4 jログ


FlumeはLog 4 jログを収集し、kafkaの簡単な例に送信します.
第一:flumeを構成し、Flumeを起動する.flumeプロファイルは次のとおりです.
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type=avro
a1.sources.r1.bind=localhost
a1.sources.r1.port=4444

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = test
a1.sinks.k1.brokerList =192.168.1.12:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20

kafka.producer.type=sync
kafka.partitioner.class=org.apache.flume.plugins.SinglePartition

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

第二:試験工程:
flume-ng-log 4 jappender-1.6.0-jar-with-dependenciesを導入するプロジェクトを作成します.jar.
  • コード:
  • package com.ls.flume;
    
    import org.apache.commons.logging.Log;
    import org.apache.commons.logging.LogFactory;
    
    public class FlumeLogAppender {
        private static final Log logger = LogFactory.getLog(FlumeLogAppender.class);
    
        public static void main(String[] args) {
            int i = 0;
            while (true) {
                logger.info("Hello world !         " + i);
                System.out.println(i++);
                try {
                    Thread.sleep(10000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }
    }

      2.  log4j.properties
    log4j.category.com.ls=INFO,flume
    log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender
    log4j.appender.flume.Hostname = localhost
    log4j.appender.flume.Port = 4444
    log4j.appender.flume.UnsafeMode = false
    log4j.appender.flume.layout=org.apache.log4j.PatternLayout
    log4j.appender.flume.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %p [%c:%L] - %m%n

    第三:発生したエラー:
    コンパイルタイムズ以下のエラーですが、実行効果には影響しません.
    SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
    SLF4J: Defaulting to no-operation (NOP) logger implementation
    SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

    解決方法:slf 4 j-nop-1.7.12を追加する.jar ;