SplunkでCustom Datamodelを作ってリンク分析 by Sigbay

7537 ワード
Splunk Splunk テキストリンク

はじめに

  • リンク分析とは？
    • リンク分析とは、電話通話、FAX 通話、メールなど 2 者(または 1 対多)の間に発生する通信データの頻度に注目し、n者間のつながりをグラフによってビジュアル化することで、互いに関係を持っている特定グループを発見する方法である。
    • 参考記事：リンク分析
  • SplunkのAppにも色々なリンク分析用の可視化appがあります
  • そんな中、.con20のとあるセッションで最新のリンク分析appの紹介がありましたのでそれを試してみた話です。

Sigbay Appとは

  • SplunkパートナーのSibgay社が作成して無償で提供しているappです。
  • Sigbay Link Analysis は、技術者ではないビジネスユーザーが大量の複雑なデータから実用的な洞察を得ることを可能にします。という可視化のappです。
  • Appの特徴

使い方

Sigbay appのダウンロード＆インストール

  • Splunk baseの以下リンクからSigbay社のサイトに飛んでアカウント登録してダウンロードします。

  • ダウンロードしたAppをSplunkにインストール

Sigbay appで読むデータの準備（カスタムDMAの作成）

  • Sigbayを使う時はDMA必須です。なのでカスタムDMAを用意します。

    • 今回の対象データはstream:httpです。
      • このときの記事で用意したデータを利用

  • まずDMAを1から作成

    • [設定] - [データモデル]のページに移動

  • 新しいデータモデルを以下のように作成

  • ポイントは[データセット]から[ルートイベント]を選択

  • データセットの名前とIDは適当に、ポイントは制約にDMA化したいデータの検索を入力すること
    • この例の場合、不要なデータをDMA化したくないのでstream:http内のuri_path=loginかつuser=が含まれるデータに絞り込んでいます。

  • 初期設定状態は最低限のフィールドしか認識していませんので、DMA化したいフィールドを追加していきます。

  • [フィールドの追加] - [自動抽出]にてフィールドを選択していきます

  • DMAに含めたいフィールドをクリックしていき保存します

  • 権限を他のappからも参照できるように設定しておきます

  • データモデルをAcceleration（高速化)していきます！

  • [高速化]にcheckをいれて、サマリー範囲を任意の期間に指定して保存

  • 高速化処理が走り出すとデータモデル設定画面から稲妻アイコンが黄色くなります。

  • 高速化のステータスが100.00%完了になったらDMAが完成していることになります。

  • SPLコマンドでcheckしてみましょう

|tstats count from datamodel=webauth by webauth.src webauth.http_user_agent webauth.url

  • これでSigbayで分析するデータの準備が整いました。

Sigbay appで可視化

  • ちゃんとした使い方はappのダウンロード時に提供されるガイドとyoutube動画を見てみてください。

  • まず|makeresultsコマンドの実行結果をもとにパネルをダッシュボードに組み込みます（ダミーサーチが必要な模様）

  • 該当パネルを編集し、作成したデータモデル、データセット、フィールド、Aggregatesを指定していきます

  • スルスルっとフィールドが見えてきました！

  • srcフィールドの気になる値をマウスでクリックすると、紐づくuser,password,action,http_user_agentがリンクされてハイライトされました

  • 今度はuserのadminをクリックしてみます

  • adminを使ってアクセスしてきたsrcがハイライトされてピボット調査ができます！

コメント

  • おしゃれなスパイダーネットよりもおそらく実用的
    • 大容量のデータポイントになっても表示が崩れることがない
  • DMA必須なのでこの記事を参考にDMAに慣れてください！