Kibana構成logstash、レポート統合

Logstash:受信、処理、転送ログElasticsearch:ドキュメント型データベース、リアルタイムの分散検索と分析エンジンKibana:クエリー、レポート生成のweb GUI
インストールディレクトリbinフォルダにlogstashを新規作成します.confの一般的な構成は以下の通りです.

#  
input { stdin {} }
#  
filter {
    grok {
        match => ["message",  "%{COMBINEDAPACHELOG}"]
    }
}
#  
output { stdout { codec => rubydebug } }

プロファイル構文はRubyに似ています
input:データのソース、一般的にはサーバー+ログパスの方法でfilter:どのルールで文字列から構造化された情報を抽出しますか?grokはlogstashのプラグインで、正規表現を使用してログをマッチングすることができます.上記の%{COMBINEDAPACHELOG}はapache accessログのデフォルトの正則をマッチングするために内蔵されています.

# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}

# Log Levels
LOGLEVEL ([A-a]lert|ALERT|[T|t]race|TRACE|[D|d]ebug|DEBUG|[N|n]otice|NOTICE|[I|i]nfo|INFO|[W|w]arn?(?:ing)?|WARN?(?:ING)?|[E|e]rr?(?:or)?|ERR?(?:OR)?|[C|c]rit?(?:ical)?|CRIT?(?:ICAL)?|[F|f]atal|FATAL|[S|s]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

output:解析結果の保存の構成
その中で、filterの構成に重点を置いて説明します.基本的なフォーマットは以下の通りです.pluginは公式に提供されています.テキストに対して処理します.例えば、正規表現(grok)、固定されたフォーマットで分割(kv)などです.正しいpluginを選択すると、ログの解析をより迅速に支援できます.

filter {
    plugin {
        XX => "YY"
    }

    if expression {
        plugin {
             XX => "YY"
        }
    } else if expression {
        plugin {
            XX => "YY"
        }
    } else {
        plugin {
            XX => "YY"
        }
    }

    plugin {
        XX => "YY"
    }
}

1、grok:正規表現プラグイン、機能が強く、多くのpattern 2、mutate:フィールドのCRUD操作が内蔵されています.例えば、内容の置き換え、切り取りなどです.

mutate {
    split=>{"error_request_info"=>",fromuid"}
    add_field=>{"error_uri"=>"%{error_request_info[0]}"}
    remove_field=>["error_request_info"]
} 

3、kv:key-valueプラグイン、URLパラメータ解析クラスの固定区切り文字を持つログに非常に適している

# URL querystring： a=1&b=2&c=3

filter {
    kv {
        field_split => "&"
    }
}

4、json:json文字列を直接対応するkey-valueに変換する

# ：xxxxxxxxx:xxxxxx&result={"data":"1"}:xxxxxx
filter {
    json {
        # grok ， result 
        source => "result"
    }
}

# json encode 
{
  "data": "1"
}

5、drop:本行のログを直接捨て、要求に合わないログをフィルタする

if "/app/log/logfront" in [content] {
           #  
        drop {}  
}