Azureデータエクスプローラからデータバンクへのインストデータ


では、どのようにBLOBストレージからデータをAzure Data Explorer(ADX)に取り込みます.
この記事では、データからADXデータをどのようにできるかを説明します.
私はAzure Kusto Python SDKをクエリデータに使用します.サンプルコードhereを見つけることができます.

必要条件


Azureデータベースを追加します.どのようにサービスを使用するかによって異なりますが、今回は何のプレミアムも必要ありません.

データベースの作成クラスタ


データベースリソースを作成すると、クラスタを追加します.
1 . Azureポータルに移動し、作成したデータベースリソースを選択します.

2「クリックして職場」をクリックします.

クラスタメニューに行き、デフォルトの設定でクラスタを作成します.お金を節約するには、自動スケーリングを無効にし、ノード番号を1に設定します.

ノート作成


最後にデータを処理するノートブックを作成します.
1 .職場に行ってください.ユーザーはあなたのアカウントに電話してノートを作成します.

2 . Pythonを使うためのノートブックを作成します.

3 .必要なPIPパッケージをインストールします.セルが正常にインストールされていることを確認します.
pip install azure-kusto-data azure-kusto-ingest
4 .新規セルを追加し、sampleから取り出したコードを追加します.次の値を置換して環境に合わせます.
  • クラスタ:これはADXクラスタアドレスです.AzureポータルのADX概要ペインのアドレスを確認できます.コピーURI値.
  • ClientRage id:前の記事で作成されたサービスプリンシパルID.
  • ClientCount秘密:前の記事でサービスプリンシパル秘密を作成します.
  • AuthorityRange id:サービスプリンシパルが追加されたテナントID.サービスプリンシパルの概要区画でIDを見ることができます.

  • """A simple example how to use KustoClient."""
    
    from datetime import timedelta
    
    from azure.kusto.data.exceptions import KustoServiceError
    from azure.kusto.data.helpers import dataframe_from_result_table
    from azure.kusto.data import KustoClient, KustoConnectionStringBuilder, ClientRequestProperties
    
    ######################################################
    ##                        AUTH                      ##
    ######################################################
    
    cluster = "https://<your adx name>.<region>.kusto.windows.net"
    client_id = "<service principal id>"
    client_secret = "<service principal secret>"
    authority_id = "<tenant id>"
    
    kcsb = KustoConnectionStringBuilder.with_aad_application_key_authentication(cluster, client_id, client_secret, authority_id)
    
    client = KustoClient(kcsb)
    
    ######################################################
    ##                       QUERY                      ##
    ######################################################
    
    # once authenticated, usage is as following
    db = "catlogsdb"
    query = "cats | take 10"
    
    response = client.execute(db, query)
    dataframe = dataframe_from_result_table(response.primary_results[0])
    
    print(dataframe)
    
    別のデータベースを問い合わせたり、異なるクエリを使用する場合は、クエリセクションを変更します.
    5 .ノートブックを実行し、結果を確認します.

    認証


    明らかに、暗号なしでノートブックにハードコードの秘密情報は良い考えではありません.
    それを安全にする多くの方法があります.
  • 証明書
  • を使用してください
  • システム割り当てのマネージドサービスアイデンティティ( MSI )
  • を使用します
  • ユーザ割り当て管理サービスアイデンティティ( MSI )
  • を使用します
  • ユーザ名とパスワード(安全でもない)
  • デバイス認証
  • の使用
    あなたはBadricksプレミアムティアを使用する場合はまた、“秘密の店”から秘密を得ることができます.詳細はSecretsを参照してください.

    概要


    ADXは大きなデータ解析のための人気のあるデータソースの一つです.あなたがPythonの人でないならば、マイクロソフトが他の言語のためにSDKを提供するので、心配もありません.Node SDK.NETJava