filebeatのインストールと構成

概要:Filebeatはログファイル託送ツールで、サーバーにクライアントをインストールすると、filebeeatはログディレクトリまたは指定されたログファイルを監視し、これらのファイル(ファイルの変化を追跡し、読み続ける)を追跡し、elasticsearch、logstarsh、redisに転送します.
関連接続

ダウンロードアドレスhttps://www.elastic.co/downloads/beats/filebeat

公式ドキュメントhttps://www.elastic.co/guide/en/beats/filebeat/current/index.html

一、filebeatインストール
今回のインストールfilebeatは、ローカルにダウンロードしたtarパッケージを使用しており、解凍するだけで使用できます.

tar xf filebeat-6.2.2-linux-x86_64.tar.gz

filebeatは複数のプロセスを開始することができ、実行は依存する.ymlプロファイル.ファイルにはfilebeatが読み込むログファイルと、出力方法が定義されています.インストールが完了すると、テンプレートfilebeatがあります.yml、カスタマイズできます.ymlファイルの名前は、起動時にプロファイルにアクセスするだけです.
複数のプロセスを開始するには、パラメータ--pathを使用する必要があります.data/xxx/xxxは、プロセスパスをリダイレクトします.
二、シーンの適用
シーン1:Filebeatはデータを収集し、logstashに書き込む
filebeatプロファイル:out-logstash.yml

filebeat:
  prospectors:
    -
      paths:
        -  /var/log/named/namequery.log

output.logstash:
    hosts: ["logstashIP:5044"]

filebeatの起動

./filebeat -e -c out-logstash.yml --path.data /apps/data/filebeat/out-logstash/

logstash構成

input {
    beats {
        port => 5044
    }
}

output {
    stdout {
        codec => "rubydebug"
    }
}

 
シーン2:Filebeatはデータを収集し、redisに書き込み、logstashはreidsキューからデータを引き出します.
filebeatプロファイル:out-redis.yml

filebeat:
  prospectors:
    -
      paths:
        - /var/log/named/namequery.log

output.redis:
     hosts: ["redis_1IP","redis_2IP","redis_3IP"]
     loadbalance: false　　　　　　　　　　　　　　　　　　　　　　#        redis  ，    redis  ，            redis ，   yes，         redis 
     port: 6379
     key: "dns-ct"
     db: 0
     timeout: 3

filebeatの起動

./filebeat -e -c out-redis.yml --path.data /apps/data/filebeat/out-redis/

logstash構成
ここでは、負荷等化をオンにするために1つのredisだけがファイルに読み出され、インストール配置時に各サーバにlogstashとredisがインストールされ、logstashはデータ処理後に同じesクラスタにデータがすべて出力されるため、2番目のアプリケーションシーンは1つのファイルを3つのredisのように破棄する必要があると説明する.

input {
  redis {  
    host => "localredisIP"  
    port => 6379  
    key => "dns-ct"  
    data_type => "list"  
    }  
}

output {
    stdout {
        codec => "rubydebug"
    }
}

 
転載先:https://www.cnblogs.com/dmjx/p/9240220.html