filebeatクライアント

version : 5.6
Filebeatはログファイル託送ツールで、サーバー上でfilebeeatすると、ログディレクトリまたは指定されたログファイルを監視し、これらのファイルを追跡して読み取り(ファイルの変化を追跡し、読み続け)、elasticsearch/logstarsh/redis/kafka/..に保存
ログ収集、filebeatかlogstashかは個人の状況によって、filebeatの方が比較的軽いです
filebeatの公式サイトのインストールの説明
ELKが配備済みであることを前提とする.個人実験はredisに出力されます

DEB:
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.3-amd64.deb
sudo dpkg -i filebeat-5.6.3-amd64.deb

RPM:
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.3-x86_64.rpm
sudo rpm -vi filebeat-5.6.3-x86_64.rpm

filebeat.yml構成
デフォルトのパスは/etc/filebeat/filebeatです.ymlテンプレートには様々な説明があり、様々な環境の構成に出力されますが、多くの説明があります.

# redis  
- input_type: log
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /usr/local/nginx-1.12.1/logs/*.log
  # - /usr/local/nginx-1.12.1/logs/*/*.log #    log    



   ,     :
filebeat.prospectors:

- input_type: log
  paths:
    - /net-log/10.4.32.1*.log
  fields:
    log_source: 10.4.32.1
  fields_under_root: true
  document_type: 10.4.32.1

- input_type: log
  paths:
    - /net-log/127.0.0.1*.log
  fields:
    log_source: 127.0.0.1
  fields_under_root: true
  document_type: 127.0.0.1

#fields_under_root: true 
#    field            ,
#       ,   .

#  :logstash type  5.5      document_type     type

  
    -
       paths:
          - /home/b/*.log
       fields:
         log_source: b

#--------------------------------redis---------------------
output.redis:
    hosts: ["10.1.27.24"]   #  
   #password: "your pwd"
    db: 0
    key: "nginx"   #  
    timeout: 10


##key    
key     redis/es/logstash ,  key              .
logstash      key       ,     es,      index,
  kibana index      ,        .
   fileds          ,                .

logstash     
input {
    redis {
        host => '10.1.27.24'
        data_type => 'list'
        key => 'nginx'
    }
}
output {
#       ,if 'a' in [type]{.....index => 'a-...'}
#             ,        
    elasticsearch {
        hosts => '10.1.27.23'
        codec => 'json'
        index => 'nginx-%{+YYYY.MM.dd}'
    }

各環境へ出力する構成kafka,redis,es,logstashなど
filebeatの起動

rpm  ：

sudo /etc/init.d/filebeat start