flume入門log 4 j出力ログをflumeに出力
9456 ワード
log 4 jで生成されたログをflumeコンソールに直接出力
1.クライアントの作成
2.pom.xml
3. log4j.properties
4.flumeを設定testlog 2 flumeを確立する.conf
このプロファイルには、エージェントa 1がエージェントagentにおいてsink(受信機)とchannel(チャネル)というsource(ソース)を構成し、r 1、k 1、c 1 r 1のタイプをavro(シーケンス化)と定義し、このタイプのパラメータがbindとportがそれぞれ0.0.0.0と4141 k 1のタイプをloggerと定義するように構成されている.ログファイルに直接出力するclのタイプはメモリ方式として定義され、そのパラメータcapactiyとtransactionCapacityをそれぞれ1000と1000に設定してr 1とk 1のchannelをc 1とする
上記構成のうちa 1を.sinks.k1.type=logger注釈、a 1.sinksの他の開くのは、ログをファイルに入力することです.
5.flumeディレクトリでflumeを起動する
flume-ng:flumeコマンドagent:Flume Agent-cを実行する:指定したディレクトリの下でuse configs in directory-fを使用する:グローバルオプションの–conf(-c)パラメータ定義ディレクトリの下にあるプロファイルを指定します–name:Agentの名前(必須)-flume.root.logger=INFO、consoleこのパラメータはflumeのログをconsoleに出力します
1.クライアントの作成
package com.study.test;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import java.util.Date;
public class WriteLog {
protected static final Log logger = LogFactory.getLog(WriteLog.class);
public static void main(String[] args) throws InterruptedException {
while (true) {
// log
logger.info(new Date().getTime());
//System.out.println(new Date().getTime());
Thread.sleep(2000);
try {
throw new Exception("exception msg");
}
catch (Exception e) {
logger.error("error:" + e.getMessage());
}
}
}
}
2.pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0modelVersion>
<groupId>com.study.testgroupId>
<artifactId>log4j2flumeartifactId>
<version>1.0-SNAPSHOTversion>
<dependencies>
<dependency>
<groupId>org.apache.flume.flume-ng-clientsgroupId>
<artifactId>flume-ng-log4jappenderartifactId>
<version>1.7.0version>
dependency>
<dependency>
<groupId>org.slf4jgroupId>
<artifactId>slf4j-simpleartifactId>
<version>1.6.1version>
dependency>
dependencies>
project>
3. log4j.properties
log4j.rootLogger=INFO,flume
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern="%d{yyyy-MM-dd HH:mm:ss} %p [%c:%L] - %m%n
log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname = 10.45.17.66
log4j.appender.flume.Port = 4444
log4j.appender.flume.UnsafeMode = true
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %p [%c:%L] - %m%n
4.flumeを設定testlog 2 flumeを確立する.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind =0.0.0.0
a1.sources.r1.port = 4444
# Describe the sink
a1.sinks.k1.type=logger
#a1.sinks.k1.type = file_roll
#a1.sinks.k1.sink.directory = /data/soft/flume/tmp
#a1.sinks.k1.sink.rollInterval=86400
#a1.sinks.k1.sink.batchSize=100
#a1.sinks.k1.sink.serializer=text
#a1.sinks.k1.sink.serializer.appendNewline = false
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
このプロファイルには、エージェントa 1がエージェントagentにおいてsink(受信機)とchannel(チャネル)というsource(ソース)を構成し、r 1、k 1、c 1 r 1のタイプをavro(シーケンス化)と定義し、このタイプのパラメータがbindとportがそれぞれ0.0.0.0と4141 k 1のタイプをloggerと定義するように構成されている.ログファイルに直接出力するclのタイプはメモリ方式として定義され、そのパラメータcapactiyとtransactionCapacityをそれぞれ1000と1000に設定してr 1とk 1のchannelをc 1とする
上記構成のうちa 1を.sinks.k1.type=logger注釈、a 1.sinksの他の開くのは、ログをファイルに入力することです.
5.flumeディレクトリでflumeを起動する
bin/flume-ng agent -c conf -f conf/testlog2flume.conf --name a1 -Dflume.root.logger=INFO,console
flume-ng:flumeコマンドagent:Flume Agent-cを実行する:指定したディレクトリの下でuse configs in directory-fを使用する:グローバルオプションの–conf(-c)パラメータ定義ディレクトリの下にあるプロファイルを指定します–name:Agentの名前(必須)-flume.root.logger=INFO、consoleこのパラメータはflumeのログをconsoleに出力します