Splunk: ワイルドカード・正規表現での検索におけるヒット条件毎の統計

9720 ワード
SPL Splunk Splunk テキストリンク

必要な機会があったのでメモ。

実施環境： Splunk Free 8.2.2
前置き

文字列の検索において、条件毎のヒット数を算出することを考えます。
文字列が固定であれば、以下のように stats コマンドを使用することで容易に実現できます。

Splunk
| makeresults count=10
| streamstats count AS CNT
| eval NUM = CNT % 3
| eval STR = "A" + NUM
| where STR = "A1" OR STR = "A2"
| stats count BY STR

では、この条件がワイルドカードや正規表現を含むものであればどうでしょうか。

やりたいこと

以下のようなデータを考えます。

STR
one
two
three
four
five
Splunk
| inputlookup "test_data.csv"

検索条件は「 t で始まる文字列」「 e で終わる文字列」の2つを指定します。

STR
t*
*e
Splunk
| inputlookup "test_search.csv"

上記のデータにおいて「 t で始まる文字列」は2つ、「 e で終わる文字列」は3つあります。
この数字を導出することを目指します。

単純に検索すると

まずは単純に format コマンドで検索条件を組み立てて search コマンドで検索してみます。
where コマンドを使用しないのは where コマンドだとワイルドカードをそのまま利用できないためです。

Splunk
| inputlookup "test_data.csv"
| search
    [
      | inputlookup "test_search.csv"
      | format
    ]

STR
one
two
three
five

上記の結果をいろいろこねくり回してみましたが、この方針で目的を達成するのは難しそうです。
何が悪いのかを考えると、「どの条件でヒットしたのかが結果から判断できない」ということに気づきます。

以下のように条件毎にサーチ文を作って合成するという方法も思いつきますが、汎用性が無さすぎます。

Splunk
| inputlookup "test_data.csv"
| search
    [
      | inputlookup "test_search.csv"
      | head 1
      | format
    ]
| eval STR_SEARCH = "t*"
| stats count BY STR_SEARCH
| append
    [
      | inputlookup "test_data.csv"
      | search
          [
            | inputlookup "test_search.csv"
            | tail 1
            | format
          ]
      | eval STR_SEARCH = "*e"
      | stats count BY STR_SEARCH
    ]
STR_SEARCH count
t* 2
*e 3

解決方法

いろいろ考えた結果、以下の方法に行き着きました。

Splunk
| inputlookup "test_data.csv"
| join max=0
    [
      | inputlookup "test_search.csv"
      | eval STR_SEARCH = STR
      | eval STR_SEARCH_R = replace(STR,"\*","%")
      | fields STR_SEARCH, STR_SEARCH_R
    ]
| where like(STR, STR_SEARCH_R)
| stats count BY STR_SEARCH
STR_SEARCH count
*e 3
t* 2

ポイントは以下の2点です。

  • join コマンドの max オプションを使用して検索対象と検索条件の組を全て書き出す

  • where コマンドの like 関数を使用して、組毎に検索を実施する

ポイントの1点目ですが、 join コマンドの max オプションに 0 を指定すると全ての組み合わせを網羅する形での結合(交差結合)が実現できます。
これを利用して、検索対象と検索条件の組み合わせを、1組1行で全て書き出します。

Splunk
| inputlookup "test_data.csv"
| join max=0
    [
      | inputlookup "test_search.csv"
      | eval STR_SEARCH = STR
      | fields STR_SEARCH
    ]
STR STR_SEARCH
one t*
one *e
two t*
two *e
three t*
three *e
four t*
four *e
five t*
five *e

書き出した組み合わせについて、ポイントの2点目で行毎に検索を実施し、ヒットした行のみを抽出します。
2つのフィールドを比較するので、先ほどは逆に where コマンドである必要があります。
注意点として、 like 関数のワイルドカードは「任意の文字列」を表す文字が「*」でなく「%」になるので、そのように条件の文字列を変換しないとうまく動きません。

Splunk
| inputlookup "test_data.csv"
| join max=0
    [
      | inputlookup "test_search.csv"
      | eval STR_SEARCH = STR
      | eval STR_SEARCH_R = replace(STR,"\*","%")
      | fields STR_SEARCH, STR_SEARCH_R
    ]
| where like(STR, STR_SEARCH_R)
STR STR_SEARCH STR_SEARCH_R
one *e %e
two t* t%
three t* t%
three *e %e
five *e %e

このようにすれば、「ヒットした値」と「ヒットした条件」の組が残るので、 stats コマンドで集計することができます。

正規表現

さらにこの方法だと、 like 関数を match 関数に変えるだけで正規表現にも対応することができます。
search コマンドで正規表現は使えないので、この方法は統計処理をしない検索だけでも有用かと思います。

Splunk
| makeresults count=200
| streamstats count AS STR
| join max=0
    [
      | makeresults count=2
      | streamstats count AS STR
      | eval STR_SEARCH = "^" + STR + "*5{1,2}$"
      | fields STR_SEARCH
    ]
| where match(STR, STR_SEARCH)
| stats count BY STR_SEARCH