この記事では SQL Server 2019 BDC の管理についてみていきます。SQL Server 2019 BDC は AKS の観点、Azure の観点、SQL の観点、BDC クラスタの観点など、多くの観点で管理が行えます。またツールも複数提供されているため、必要に応じて使い分けます。

azdata を使ったクラスタの管理

azdata はクラスタの構築するだけでなく、管理や削除も行えます。
bdc サブコマンドで BDC を管理できます。

環境へログイン

まず初めに環境にログインします。クラスタ名を指定するか、エンドポイント URL を使ってログインできます。

[クラスタ名を指定]

azdata login --namespace mssql-cluster --username admin

[エンドポイントアドレスを指定]

azdata login --endpoint https://xxx.xxx.xxx.xxx:30080 --username admin

いずれもパスワードを聞かれたら入力してログインします。

BDC サブコマンド

azdata bdc コマンドは BDC を管理するための機能を提供します。それぞれのエンドポイント用に

以下にいくつかのコマンドを結果を紹介します。

[ステータスの確認]

azdata bdc status show

上記コマンドを実行すると、以下のような結果が表示され、現在のクラスタの各サービスと各リソースの状況を一目で確認できます。

特定のサービスのステータスだけを確認したい場合、以下のコマンドが使えます。

azdata bdc sql status show
azdata bdc control status show
azdata bdc hdfs status show
azdata bdc spark status show
azdata bdc gateway status show

[エンドポイントの情報]

azdata bdc endpoint list

BDC のエンドポイントは 5 つありますが、上記コマンドは管理エンドポイントだけでなく、ツールのエンドポイントも表示してくれます。

SQL サブコマンド

クエリを実行したい場合、sql サブコマンドが使えます。クエリの指定、出力形式の指定が行えるほか、実行ユーザーを渡すことも環境変数に入れることもできます。

>azdata sql query -q "SELECT database_id, name FROM sys.databases" --output table
Enter SQL Server username:
Enter SQL Server Password:
Stdout
----------------------------------------------------------------------------------------------------------------------
The SQL Server username is needed.  It can be set for the session by setting the environment variable AZDATA_USERNAME.
The SQL Server password is needed.  It can be set for the session by setting the environment variable AZDATA_PASSWORD.

Database_id    Name
-------------  ----------------------
1              master
2              tempdb
3              model
4              msdb
5              DWDiagnostics
6              DWConfiguration
7              DWQueue
8              sales
32761          model_msdb
32762          model_replicatedmaster

Azure Data Studio (ADS) を使ったクラスタの管理

ADS はクエリをの発行以外にも、複数のことができます。

SQL Server マスターインスタンスと HDFS へ接続

マスターインスタンスへ接続すると、HDFS も確認できます。

SQL Server BDC ペイン

ADS の BDC ペインに Control エンドポイントを追加して詳細を確認できます。エンドポイントはマネージメントサービスの URL を指定します。

[BDC ペインでエンドポイントを追加]

[ヘルスステータスとエンドポイント詳細]

[SQL Server ペイン]
サービスを構成するポッドとステータス、ノードやポッドメトリックの情報を表示する Grafana へのダッシュボードや、ログを表示する Kibana へのリンク

Notebook: SQL Server 2019 Guide

ADS は Jupyter Notebook をサポートしており、既定でサンプルを提供します。

[SQL Server 2019 Guid]

例えば以下は Monitor - Big Data Cluster サンプルより　Show BDC Status のコードです。それぞれのセクションをマウスオーバーして実行するか、画面上部の「Run Cell」コマンドでコードを実行できます。

コードがエラーになった場合も、実施すべき前提のサンプルなどを自動で示してくれる優れものです。

SQL Server Management Studio (SSMS)

以前のバージョンと同様に、SSMS は引き続き SQL Server の重要なツールとなります。
SQL Server Management Studio (SSMS) のダウンロード
SSMS 日本語版

接続方法は ADS と同じく SQL Server マスターインスタンスに接続します。

[接続]

[サーバープロパティ]
ノード側の情報が表示されている。

Dynamics Management View (DMV)

SQL Server のシステムビューである DMV にも BDC 関連のビューが多く提供されます。

Azure ポータル

AKS は Azure モニターと統合されているため、コンテナーに対する Azure Monitor も利用できます。
[概要から監視やログに移動]

コンテナー監視をクリックすると、未構成の場合は自動的に Azure モニターが構成され、個別のリソースグループにリソースが作成されます。構成後は「監視」メニューから詳細を確認することができます。

インサイト

現在の状況をクラスター、ノード、コンテナーなど複数のレベルで確認することができます。

[コントローラー]

[コンテナ状況]

メトリック

各種メトリックの表示やダッシュボードへの設定が行えます。既定で数多くのメトリックが提供されます。

ログ

各種ログのクエリや表示、ダッシュボードへの設定などが行えます。

Azure モニター

Azure モニターは AKS 以外も複数の Azure サービスを同時に監視対象とできるため、複数の BDC がある環境や、他サービスも併用している場合も便利です。

Grafana

Grafana は複数のデータソースをサポートするオープンソースの監視ソリューションであり、BDC でも既定でこのインストールされ、AKS クラスタノードの情報を詳細に管理できるダッシュボード機能を提供します。
エンドポイントのアドレスから直接接続することも、ADS で表示される BDC の情報から接続することもできます。ログインは BDC 作成時のユーザー名とパスワードが利用できます。

ダッシュボード

既定で以下のダッシュボードが提供されます。必要に応じて変更も追加もできます。

[Host Node Metrics]

[Host Pods Metrics]

[SQL Server Metrics]

データソース

構成時にデータソースも自動で設定されます。また必要に応じて手動で追加することも可能です。

その外にも利用ユーザーやグループの管理、アラート設定など多くのことが柔軟に行えるサービスです。
参照: Grafana

Kibana

ポッドやノードのログは Kibana を使って監視できます。こちらもエンドポイントのアドレスから接続したり、ADS で表示される BDC の情報から接続できます。

使い方はまだ私も分かっていないため、今後調査していきます。
参照: Kibana

kubectl

k8s の観点からは kubectl で情報を取得できます。このブログのシリーズを通しても色々なコマンドを紹介しています。
参照: SQL Server ビッグ データ クラスターの監視とトラブルシューティング

また GUI ツールであるダッシュボードも利用可能です。
参照:Kubernetes ダッシュボード

Azure CLI

最後に Azure CLI でも構成情報など多くの情報が取得できます。

まとめ

AKS/k8s はすでに多くのオープンソースや有料ツールがあるため、監視/管理が柔軟に行えます。また BDC 固有の機能については、azdata, Azure CLI をはじめ ADS や SSMS などの GUI ツールも利用可能です。次回は HDFS の階層化を見ていきます。

次の記事へ
目次へ戻る

参照

How to monitor your Kubernetes clusters | Kubernetes Best Practices Series
参照:ビッグ データ クラスターの状態を表示する方法
参照:SQL Server コントローラー ダッシュボードのビッグ データ クラスターを管理する
参照: SQL Server ビッグ データ クラスターの監視とトラブルシューティング
参照: Grafana
参照: Kibana