New RelicのメトリクスをAPI経由でデータ統合をしたお話

7498 ワード
SRE NewRelic カスタマーサクセス NewRelic テキストリンク

New Relic Advent Calendar 2020 の13日目の投稿になります。

概要

現在、私はprimeNumberという会社に所属しており分析基盤構築支援サービスの trocco の SRE兼CS兼エンジニア をやらせていただいております。（もうこうなったら肩書をもっと増やして新日本プロレスの 矢野通 なみになってやろうかと目論んでおります。）

troccoの運用チームではインフラやアプリケーションの監視にNew Relicを活用しております。過去、書かせていただいた記事が具体例になります。

troccoチームではNew Relicのダッシュボードで可視化しているデータをNew Relic API（Insight API）を用いてBigQuery上に連携しDataPortal上で可視化するということをしております。（顧客単位でメトリクスを出す方法としてはカスタムアトリビュートにIDを付与することで実現しております。実現方法については こちら を御覧ください。）

以下はNew Relic上で取得できているメトリクスと、API経由でデータ連携したBigQuery上のデータをDataPortal上のカスタマーヘルスダッシュボードで可視化したものになります。

本日は具体的な設定方法を説明しようと思います。

事前準備

New RelicのメトリクスデータをAPI経由で取得するための事前準備を説明いたします。New RelicのAPIは このように多くの種類がありますが、我々のチームではInsightの クエリAPI を利用しております。

APIコール時のパラメータに NRQL を設定することで結果をJSONで返してくれるという非常に便利なものになります。

API経由でデータ取得するためにはAPIキーが必要になります。APIキーの発行については以下の手順になります。

  1. insights.newrelic.com > Manage data > API keys 開く。
  2. Query keys見出しの隣にある + アイコンを選択する。
  3. Notesに説明書きを追記し Save your notes を選択する。

APIキーを登録すると以下のようにAPIキーを取得可能になります。

サンプルのコマンドをコールすると以下のようなレスポンスを得ることが出来ます。


 ~  curl -H "Accept: application/json" -H "X-Query-Key: XXX" "https://insights-api.newrelic.com/v1/accounts/XXX/query?nrql=SELECT%20average(duration)%20FROM%20PageView"
{"results":[{"average":1.9074000000000002}],"performanceStats":{"inspectedCount":16,"omittedCount":0,"matchCount":15,"wallClockTime":19},"metadata":{"eventTypes":["PageView"],"eventType":"PageView","openEnded":true,"beginTime":"2020-12-13T14:16:17Z","endTime":"2020-12-13T15:16:17Z","beginTimeMillis":1607868977508,"endTimeMillis":1607872577508,"rawSince":"60 MINUTES AGO","rawUntil":"NOW","rawCompareWith":"","guid":"09f17924-01bb-d107-a781-e1ab9109d45b","routerGuid":"130e5743-7e50-7ba2-1f28-fce66cb16013","messages":[],"contents":[{"function":"average","attribute":"duration","simple":true}]}}⏎

troccoを用いたデータ連携

troccoチームではNew Relicのデータをtrocco経由でBigQueryに連携しております。以下はtroccoの設定画面のキャプチャになります。troccoでは転送元のデータソースと転送先のデータソースを設定しデータ連携を自動化する機能があります。本画面では 転送元HTTP というHTTPリクエストを設定することでデータ連携可能な機能と 転送先BigQuery というBigQuery側にアウトプットするための機能を利用しております。

上記のキャプチャではSLA(End-user Tier)のアカウント別日次レポートを抽出するところを設定しております

転送元HTTPにてInsight APIのコールに必要なHTTPリクエストを組み立てます。レスポンスのJSONデータとしては facets キーにてメトリクスのリストを取得することができるため $.facets.* と設定しております。

実際に取得できるデータとしては以下のようになっております。

こうすることでNew RelicのメトリクスをBigQueryにデータ連携することが出来ます。troccoチームではアカウント毎やユーザ毎のSLAデータをBigQuery上に連携し、troccoの データマート機能 を使ってデータ加工をし、DataPortal上に可視化するようにしております。
以下はデータ取得から加工までのデータパイプラインをtroccoの ワークフロー機能 を用いて設定した例になります。（転送ジョブではNew RelicからBigQueryへデータ転送を行い、データマートではBigQuery上に連携されたデータを加工しております。）

DataPortaを用いた可視化

以下はワークフローにて作成した分析テーブルをDataPortal上で可視化している様子になります。
こちらについてはカスタマーサクセスチームのカスタマーヘルスダッシュボードとして活用しておりユーザの活用度を定量的に測るときの1つの指標として利用しております。

今回はAPMのSLAメトリクスをBigQueryに連携し可視化する所を紹介しましたが他にもk8sのメトリクスをデータ連携しアカウント単位で可視化させるなど色々なシーンで利用しております。

BigQueryのようなDWHまで持っていって可視化するメリットとしては様々なサービスのデータと統合させることができることです。troccoチームではtroccoのアプリケーションデータとSalesforceのデータを統合させることで顧客を定量的、かつ定性的に可視化するカスタマーヘルスダッシュボードを作成しております。

まとめ

今回はNew RelicのメトリクスをAPI経由でデータ連携し、さまざまでデータと統合した上で可視化するところの紹介をいたしました。
New RelicはNRQLを用いたデータ取得が容易にできる上にカスタマイズも容易なので非常に助かっております。引き続き、New Relicを活用し続けていこうと思います・・・

それでは New Relic Advent Calendar 2020 の13日目は以上になります。最後まで見ていただきありがとうございました！