DatadogによるDatabricksクラスター監視

4086 ワード
Databricks Databricksベストプラクティス Datadog Datadog テキストリンク

Databricksにおけるクラスター管理で触れているように、Sparkクラスターのメトリクスやログ情報をDatadogで監視することができます。

サンプルノートブックはこちらです。

Datadog APIの取得

Datadogでアカウントを作成し、APIキーを取得します。以下の画面のDD_API_KEY=以降がAPIキーです。

init scriptの作成

DBFS上にinit scriptを作成するので、サンプルノートブックのセルの4行目の<init-script-folder>に格納先を指定してください。

dbutils.fs.put("dbfs:/<init-script-folder>/datadog-install-driver-workers.sh","""

ノートブックのセルを実行してdatadog-install-driver-workers.shを作成します。

注意
デフォルトではログが出力されないので、echo "logs_enabled: true" >> /etc/datadog-agent/datadog.yamlでログを有効化する必要があります(サンプルノートブックの31行目)。

init scriptの設定

クラスターのinit scriptとして、datadog-install-driver-workers.shを指定します。

クラスターのAdvanced OptionsのSpark > Environment VariablesにDatadogのAPIキーを、DD_API_KEY=<your-api-key>の形式で指定します。

クラスターの起動

クラスターの起動に合わせてエージェントが起動し、Datadogにメトリクスとログが送信されます。

サンプルノートブック

参考情報

Databricks参考情報
- Manage clusters | Databricks on AWS
- Apache Spark Cluster Monitoring with Databricks and Datadog - The Databricks Blog

Datadog参考情報
- Databricks
- 最新のinit scriptはこちらから取得できます。 Spark

Databricks 無料トライアル

Databricks 無料トライアル