Azureデータエクスプローラからデータバンクへのインストデータ
6788 ワード
では、どのようにBLOBストレージからデータをAzure Data Explorer(ADX)に取り込みます.
この記事では、データからADXデータをどのようにできるかを説明します.
私はAzure Kusto Python SDKをクエリデータに使用します.サンプルコードhereを見つけることができます.
必要条件
クラスタ:これはADXクラスタアドレスです.AzureポータルのADX概要ペインのアドレスを確認できます.コピーURI値. ClientRage id:前の記事で作成されたサービスプリンシパルID. ClientCount秘密:前の記事でサービスプリンシパル秘密を作成します. AuthorityRange id:サービスプリンシパルが追加されたテナントID.サービスプリンシパルの概要区画でIDを見ることができます.
5 .ノートブックを実行し、結果を確認します.
認証
証明書 を使用してくださいシステム割り当てのマネージドサービスアイデンティティ( MSI ) を使用しますユーザ割り当て管理サービスアイデンティティ( MSI ) を使用しますユーザ名とパスワード(安全でもない) デバイス認証 の使用
あなたはBadricksプレミアムティアを使用する場合はまた、“秘密の店”から秘密を得ることができます.詳細はSecretsを参照してください.
概要
この記事では、データからADXデータをどのようにできるかを説明します.
私はAzure Kusto Python SDKをクエリデータに使用します.サンプルコードhereを見つけることができます.
必要条件
Azureデータベースを追加します.どのようにサービスを使用するかによって異なりますが、今回は何のプレミアムも必要ありません.
データベースの作成クラスタ
データベースリソースを作成すると、クラスタを追加します.
1 . Azureポータルに移動し、作成したデータベースリソースを選択します.
2「クリックして職場」をクリックします.
クラスタメニューに行き、デフォルトの設定でクラスタを作成します.お金を節約するには、自動スケーリングを無効にし、ノード番号を1に設定します.
ノート作成
最後にデータを処理するノートブックを作成します.
1 .職場に行ってください.ユーザーはあなたのアカウントに電話してノートを作成します.
2 . Pythonを使うためのノートブックを作成します.
3 .必要なPIPパッケージをインストールします.セルが正常にインストールされていることを確認します.
pip install azure-kusto-data azure-kusto-ingest
4 .新規セルを追加し、sampleから取り出したコードを追加します.次の値を置換して環境に合わせます.
データベースリソースを作成すると、クラスタを追加します.
1 . Azureポータルに移動し、作成したデータベースリソースを選択します.
2「クリックして職場」をクリックします.
クラスタメニューに行き、デフォルトの設定でクラスタを作成します.お金を節約するには、自動スケーリングを無効にし、ノード番号を1に設定します.
ノート作成
最後にデータを処理するノートブックを作成します.
1 .職場に行ってください.ユーザーはあなたのアカウントに電話してノートを作成します.
2 . Pythonを使うためのノートブックを作成します.
3 .必要なPIPパッケージをインストールします.セルが正常にインストールされていることを確認します.
pip install azure-kusto-data azure-kusto-ingest
4 .新規セルを追加し、sampleから取り出したコードを追加します.次の値を置換して環境に合わせます.
pip install azure-kusto-data azure-kusto-ingest
"""A simple example how to use KustoClient."""
from datetime import timedelta
from azure.kusto.data.exceptions import KustoServiceError
from azure.kusto.data.helpers import dataframe_from_result_table
from azure.kusto.data import KustoClient, KustoConnectionStringBuilder, ClientRequestProperties
######################################################
## AUTH ##
######################################################
cluster = "https://<your adx name>.<region>.kusto.windows.net"
client_id = "<service principal id>"
client_secret = "<service principal secret>"
authority_id = "<tenant id>"
kcsb = KustoConnectionStringBuilder.with_aad_application_key_authentication(cluster, client_id, client_secret, authority_id)
client = KustoClient(kcsb)
######################################################
## QUERY ##
######################################################
# once authenticated, usage is as following
db = "catlogsdb"
query = "cats | take 10"
response = client.execute(db, query)
dataframe = dataframe_from_result_table(response.primary_results[0])
print(dataframe)
別のデータベースを問い合わせたり、異なるクエリを使用する場合は、クエリセクションを変更します.5 .ノートブックを実行し、結果を確認します.
認証
明らかに、暗号なしでノートブックにハードコードの秘密情報は良い考えではありません.
それを安全にする多くの方法があります.
あなたはBadricksプレミアムティアを使用する場合はまた、“秘密の店”から秘密を得ることができます.詳細はSecretsを参照してください.
概要
ADXは大きなデータ解析のための人気のあるデータソースの一つです.あなたがPythonの人でないならば、マイクロソフトが他の言語のためにSDKを提供するので、心配もありません.Node SDK、.NET、Java
Reference
この問題について(Azureデータエクスプローラからデータバンクへのインストデータ), 我々は、より多くの情報をここで見つけました
https://dev.to/kenakamu/ingest-data-into-databricks-from-azure-data-explorer-1kc9
テキストは自由に共有またはコピーできます。ただし、このドキュメントのURLは参考URLとして残しておいてください。
Collection and Share based on the CC Protocol
Reference
この問題について(Azureデータエクスプローラからデータバンクへのインストデータ), 我々は、より多くの情報をここで見つけました https://dev.to/kenakamu/ingest-data-into-databricks-from-azure-data-explorer-1kc9テキストは自由に共有またはコピーできます。ただし、このドキュメントのURLは参考URLとして残しておいてください。
Collection and Share based on the CC Protocol