DatabricksにおけるAWS PrivateLinkのフロントエンド接続の設定(実践編)

5692 ワード
AWS PrivateLink Databricks AWS テキストリンク

本書では、AWS Workspaces上の仮想マシンからPrivateLink構成のDatabricksにアクセスできるようにフロントエンド接続の設定を行います。バックエンド接続の設定に関しては、DatabricksにおけるAWS PrivateLinkの有効化、および、DatabricksにおけるAWS PrivateLinkのバックエンド接続の設定(実践編)をご覧ください。

AWS Workspacesの設定

公衆回線経由でアクセスしないように、念のためにインターネットへのアクセスを無効にしておきます。こちらのVPCとサブネットをメモしておきます。

ワークスペースが起動したことを確認します。

セキュリティグループの作成

上記VPCにセキュリティグループaws-workspace-sgを作成します。

aws-workspace-sgのインバウンドルール

タイプ ポート ソース
カスタムTCP 443 172.16.0.0/16(AWS Workspaces VPCのCIDR)
カスタムTCP 6666 172.16.0.0/16(AWS WorkspacesVPCのCIDR)

aws-workspace-sgのアウトバウンドルール

タイプ ポート 送信先
カスタムTCP 443 172.16.0.0/16(AWS WorkspacesVPCのCIDR)
カスタムTCP 6666 172.16.0.0/16(AWS WorkspacesVPCのCIDR)

VPCエンドポイントの作成

環境構築を行っているAWSリージョンに対応するVPCエンドポイントサービスをこちらで確認します。東京リージョン(ap-northeast-1)の場合は以下となります。

  • Workspace VPC endpoint service: com.amazonaws.vpce.ap-northeast-1.vpce-svc-02691fd610d24fd64

サービスカテゴリでサービスを名前で検索を選択し、上のエンドポイントサービスで検索を行います。

VPCはAWS WorkspacesVPCを選択します。サブネットはAWS WorkspacesVPCのサブネットを選択します。

セキュリティグループはaws-workspace-sgを選択します。

作成するとステータスが「承諾の保留中」となりますが問題ありません。

VPCエンドポイントの登録

以降はAccount APIを操作します。ローカル環境でコマンドプロンプト、ターミナルなどを開いてください。ここでは、以下のツールを使用します。

  • curl
  • jq

以下の情報をメモしておいてください。

curl -X POST -u <アカウントオーナーのメールアドレス>:<アカウントオーナーのパスワード> -n \
'https://accounts.cloud.databricks.com/api/2.0/accounts/<DatabricksアカウントID>/vpc-endpoints' \
-d '{
"vpc_endpoint_name": "workspace-rest-api-frontend",
"region": "ap-northeast-1",
"aws_vpc_endpoint_id": "vpce-0c4c07c32f30868b3"
}' | jq

結果

{
  "vpc_endpoint_id": "64ccf132-512b-4347-9c55-c4d5a67fd261",
  "account_id": "<DatabricksアカウントID>",
  "vpc_endpoint_name": "workspace-rest-api-frontend",
  "aws_vpc_endpoint_id": "vpce-071d657e16a943ca5",
  "aws_endpoint_service_id": "vpce-svc-02691fd610d24fd64",
  "use_case": "WORKSPACE_ACCESS",
  "region": "ap-northeast-1",
  "aws_account_id": "814153277231",
  "state": "pending"
}

VPCエンドポイントのプライベートDNS名を有効化する

まず初めに、AWS WorkspacesのVPCでDNS ホスト名、DNS 解決の両方が有効になっていることを確認します。なっていない場合には有効化します。

上で作成したエンドポイントを選択し、アクションからプライベートDNS名の変更を選択します。プライベート DNS 名を有効にするのこのエンドポイントで有効にするのチェックを入れて、プライベートDNS名の変更をクリックします。

ステータスが「保留中」になりますが、少し待てば「使用可能」になります。

AWS Workspacesから動作確認を行う

仮想マシンにアクセスし、ブラウザを開きPrivateLink構成で構築したDatabricksワークスペースのURLにアクセスします。

Databricks 無料トライアル

Databricks 無料トライアル