Universal Forwarderを使わずにStream データを収集する方法

6572 ワード
Splunk Splunk テキストリンク

はじめに

  • UF(Universal Forwarder)を使ったSplunk Stream収集については以前こちらで紹介しました
  • 今回はUniversal Forwarderをインストールしないで、Stream Forwarder(streamfwd)というツールを使って収集します。
  • 別名、Independent Stream Forwarder(ISF)とも呼びますが、同じものを指します。
  • ISFを使う背景は以下のケースです
    • 監視対象はLinuxのみ（streamfwdはwindowsでは使えないです）
    • なるべくモジュール負荷をかけたくない
    • Streamデータ以外は収集する予定がない（ファイル監視などは行わない）
    • 導入がcurlコマンド叩くだけで楽。

構成イメージ

  • ポイント
    • ISFをServerにインストールして、指定NICをモニターして、監視対象プロトコルのデータのみスニファします
    • スニファしたデータはHEC（HTTP EVENT COLLECTOR）機能を使ってPUSHでインデクサーに転送します
    • ISFのダウンロード、設定の更新などは8000番ポートで定期チェックを行い、更新があればSH/DSからダウンロード＆適用します

設定方法

SH/DSにSplunk Streamをインストール

  • ※ISFを展開する台数が数十台以上になる場合、ping pollingインターバルの負荷がバカにならなくなります。検証はSHでもいいですが、本格展開時にはDSを利用することを推奨します。

IDXにもSplunk Streamをインストール

SH/DSのHECトークンをコピーして、IDXの以下ファイルにペースト保存

  • SH/DSのHECトークンでなくてもいいかもしれません。この作業はIDXクラスタなどで複数台の時でも、全IDX同じHECトークンを設定してください。

inputs.conf
(IDX作業)

・inputs.confの編集
# vi /opt/splunk/etc/apps/splunk_httpinput/local/inputs.conf

[http://streamfwd]
disabled = 0
#token = 818f7de2-873c-4d54-9e81-d7ca79ac1541 (←前のを削除)
token = 9a3b1541-b974-44b7-bc3d-50422c38de61

・splunkサービス再起動
# /opt/splunk/bin/splunk restart

SH/DSからIDXに対して分散サーチ設定を行う

  • 分散サーチ » サーチ ピアにてIDXを指定

SH/DSのDistributed Forwarder機能で設定

  • Create New Groupを押して、監視対象グループを作成

ポイント：
・HTTP Event Collector Auto config をOff
・Endpoint Urlに、IDXサーバを指定したHECのURLを設定

  • 監視対象のプロトコルにチェックを入れる

  • 設定を配るForwarderのマッチング条件を設定

  • RegexでForwarderIDが一致するものを指定

  • これで設定を配る準備が整いました。

ISFをLinuxにインストール

  • Install Stream Forwardersをクリック

  • curlコマンドをコピーして、インストール先Linux環境でそのまま実行

  • install中の応答は、全部YesでOK

  • streamfwd.logにERRORがないかチェック

log
# tail -f /opt/streamfwd/var/log/streamfwd.log

  • データが転送されることを確認(IDX、SH/DSとそれぞれチェックすると良い)

  • SH/DSのHEC設定は不要なのでdisableにしておく

    • データ入力 » HTTP イベントコレクタにて、streamfwdを無効化

ハマったポイント

  • 「streamfwd.confを直接編集してindexerとtokenを指定したけど、データが転送されない」

    • 下記マニュアルを参考に設定をしていましたが、うまくいかず。
    • streamfwd.confへの直接編集は、templeteを利用する際に使うものらしいです。

  • streamfwdが意図通りに動かないときに何度も削除、導入をしました。その際の削除コマンドはこちらです。これできれいサッパリ削除できます。

service streamfwd stop
chkconfig --del streamfwd
rm -rf /opt/streamfwd/
rm -rf /etc/init.d/streamfwd

所感

  • UFと違ってstreamfwdの方が、導入して設定が適用されてから、データ収集されるまで早いと感じる
    • デフォルトのpingインターバル5秒が早い要素だと思われるが、これは展開したあとは頻繁に更新するわけでなければ時間を長くしてもよいと思われる