【Logstash】FileBeat Modulesとの併用
概要
Filebeat ModulesとLogstashを併用する構成を考えます。
ログのパースを行う場所をどこにするかによって構成が変わります。
一番簡単なのはログのパースをIngest Pipelineで行う構成ですが、LogstashのFilterを使う構成だとIngestPipelineではできない処理(フィールドの削除等)が可能になります。
Filebeat Modulesの仕組み
FileBeat ModulesはIngest Pipelineを作成します。
ログの整形・加工はElasticSearchのIngest Nodeが担当します。
pipelineは以下のコマンドで作成できます。
filebeat setup --pipelines --modules nginx,system
確認は以下のコマンド
GET _ingest/pipeline/*
構成
構成1:パースをIngest Pipelineで行う
パースはESのIngest Pipelineで行う構成です。
LogstashのConfigにはFilterは入れず、Input, Outputのみです。
構成2:パースをLogstashで行う
パースはLogstashのFilterで行う構成です。
IngestPipelineではできない処理(フィールドの削除等)が可能になります。
ただしModuleの定義はCollect部分(どのパスのファイルを収集するか等)しか使わないため、Filterは自分で定義する必要があります。
Author And Source
この問題について(【Logstash】FileBeat Modulesとの併用), 我々は、より多くの情報をここで見つけました https://qiita.com/tutti163/items/caffe27a780c93ede1d4著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .