DLAは地域を跨いで、実例を跨ぐ多AnalyticDBの読み書き訪問を実現します。

7147 ワード
sql
  • 紹介します。
    リアルタイムデータ倉庫ADB（AnalyticDB）クラウド製品：https://www.aliyun.com/produc...データ湖分析サービスDLAクラウド製品：https://www.aliyun.com/produc...データ湖分析DLA概要：https://yq.aliyun.com/article...DLAデータ湖のデータ分析シーンの中枢として、雲に多くのデータを格納することができます。データベースなどのシステムは融合データ分析を行い、ユーザーのために統一操作の視点を提供し、システムの境界を打開し、分析結果を逆流する。
    現在サポートされているデータストア、データベースシステムは以下を含む。
    データシステムソース（クエリ）ターゲット（データストリーム）OSSサポートTable StoreサポートサポートAnalyticDBサポートRDS for MySQLサポートサポートサポートユーザーの自己構築MySQLサポートサポートRDS for PostgreSQLサポートサポートサポートサポートサポートサポートサポートユーザーの自己構築PostgreSQLサポートRDS for SQL Serverサポートユーザの自己構築SQL ServerサポートクラウドデータベースRedisサポートが一時的にサポートされていません。goDBサポートは一時的にサポートされていません。ユーザーの自己構築のためのMongoDBサポートは一時的にサポートされていません。弾性ネットワーク技術を通じて、現在DLAは地域を跨ぐデータアクセス能力をサポートしています。上記の複数のデータソースは同時にDLAを通じて複数の地域にわたる融合分析能力を備えています。https://en.wikipedia.org/wiki...)シーンのデータ融合分析。
    本論文ではDLAを通じて地域を跨ぎ、実例を跨ぐ多AnalyticDBへの読み書き訪問を重点的に紹介します。関連するネットワーク構造は下図のように、ユーザーが使用するDLAサービスが上海のレギオンにあると仮定する。
  • シーン例
    • ADBにおけるデータ仮説ADBの2つの例には、以下の2つのテーブルが既に存在しており、ADBに対応するDDLは以下の2つのテーブルである。
    CREATE TABLE customer（cccccccccccccccccccccccccuuuuatbal COMMENT'，ccuuuuuuuuudres douuble COMMENT'，cccuuuuuphoe varrhan COMMENT'，ccuuuuuuccccccdtbalドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドドCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOM NATIONKEY）PARTTION BY HASH KEY（CuCUSTKEY）PARTTION NUM 32 TABLEGROUTP tpch_50 x_groupOPTTIONS（UPDATETYPE='realtime'）COMMENT';
    CREATE DIMENSION TABLE nation(nuation key int COMMENT'，nuuname varhan COMMENT'，nuaggionkey int COMMENT'，nuucomment varhan COMMENT'，PRIMARY KEY(NuNATIONKEY))OPTIOS(DATYPE=METYPE'COMMENTこのうち、customer表は7,500,000件のデータがあり、nation表は25件のデータがあります。
    DLAは北京regionのADBの実例をマッピングします。
    上海regionのDLAサービスを使用しているので、この北京regionのADBインスタンスの古典的なネットワークアドレス：ads-dll a-test-f 508 cb 23 cn-beijing-1.ads.aliyuncs.com：10006
    上海regionを接続するDLAサービスは、北京region ADBのインスタンスとcustomerのテーブルをマッピングするために、以下のようなライブラリ建設命令を実行します。
    CREATE DATABASE beijing_public_ads_dla_test WITH DBPROPRERTIES(
    catalog = 'ads',
location = 'jdbc:mysql://ads-dla-test-f508cb23.cn-beijing-1.ads.aliyuncs.com:10006/ads_dla_test',
instance = 'ads_dla_test',
user = 'L*T',
password = '****'
    ）COMMENT';
    CREATE EXTERNAL TABLE IF NOT EXISTS customer（
    `c_custkey` INT NULL COMMENT '',
`c_name` STRING NULL COMMENT '',
`c_address` STRING NULL COMMENT '',
`c_nationkey` INT NULL COMMENT '',
`c_phone` STRING NULL COMMENT '',
`c_acctbal` DOUBLE NULL COMMENT '',
`c_mktsegment` STRING NULL COMMENT '',
`c_comment` STRING NULL COMMENT ''
    ）0
    CREATE EXTERNAL TABLE IF NOT EXISTS nation（nuation key int COMMENT'，nuuname varhar COMMENT'，nuage gionkey int COMMENT'，nucomment varhar COMMENT'）；DLAが上海のレギオンにマッピングしたADBの例
    上海レギオンのDLAサービスを使用していますので、VPCネットワークアドレスを通じて上海レギオンのADBインスタンスにアクセスできます。dla-data-4 d 5443 bf-vpc.n-shnghai-1.ads.aliyuncs.com：10001
    注意：ADBのために生成されるVPC URLは、
    上海regionを接続したDLAサービスは、以下のような建設スケジュール命令を実行し、上海region ADBのインスタンスとcustomerのテーブルをマッピングします。
    CREATE DATABASE shanghai_vpc_dla_data WITH DBPROPRERTIES(
    catalog = 'ads',
location = 'jdbc:mysql://dla-data-4d5443bf-vpc.cn-shanghai-1.ads.aliyuncs.com:10001/dla_data',
instance = 'dla_data',
user = 'L*M',
password = '****'
    ）COMMENT';
    CREATE EXTERNAL TABLE IFT EXISTS customer（c_custkey INT NULL COMMENT'，c_name STRING NULL COMMENT'，c_address STRING NUMENT'，c_nationkey STRING NULL COMMENT'，c_phone INT NULL COMMENT'，c_acctbal STRING NUCOMMENT'COMCOMCOMCOMMENT'COMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMSTSTSTSTSTSTSTSTSTSTSTCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOMCOM
    CREATE EXTERNAL TABLE IF NOT EXISTS nation（nuation key int COMMENT'，nuuname varhar COMMENT'，nuage gionkey int COMMENT'，nucomment varhar COMMENT'）；照会は、国家統計取引先の数に応じた照会例であり、上記2つのADBの例における2つのテーブルのデータが同じであるため、DLAを通じて照会し、以下の4つのクエリーの結果は同じである。照会は上海レギオンのDLAを通じて行われる。
    照会1：北京region ADBのcustomer表join北京region ADBのnation表。SELECT a.c.nationnkey，b.n_name、count(*)as cntFROM beijing_public_ads_dla_test.customer aJOIN beijing_public_ads_dla_test.nation b ON a.cunationnkey=b.n_natinkeye GROUT BY a.c_nationnkey，b.n_nameORDER BY cnt DESC；照会2：上海region ADBのcustomerテーブルjoin上海region ADBのnation表。SELECT a.c.nationnkey，b.n_name、count(*)as cntFROM shanghai_vpc_dla_data.ctomer aJOIN shanghai_vpc_dla_data.nation b ON a.cunationnkey=b.n_natinkeye GROUT BY a.c_nationnkey，b.n_nameORDER BY cnt DESC；お問い合わせ3：上海region ADBのcustomer表join北京region ADBのnation表。SELECT a.c.nationnkey，b.n_name、count(*)as cntFROM shanghai_vpc_dla_data.ctomer aJOIN beijingpublic_ads_dla_test.nation b ON a.cunationnkey=b.n_natinkeye GROUT BY a.c_nationnkey，b.n_nameORDER BY cnt DESC；照会4：北京region ADBのcustomer表join上海region ADBのnation表。SELECT a.c.nationnkey，b.n_name、count(*)as cntFROM beijing_public_ads_dla_test.customer aJOIN shanghai_vpc_dla_data.nation b ON a.cunationnkey=b.n_natinkeye GROUT BY a.c_nationnkey，b.n_nameORDER BY cnt DESC；DLNAによりINSERT from SELECTを実行し、他のデータソースの照会結果をADBデータソースに書き込む。
    DLAでは、上海レギオンを指すOSS bucketライブラリ・建設表を実行します。
    CREATE DATABASE c_mktsegment WITH DBPROPRERTIES(
    catalog = 'oss',
location = 'oss://oss-****/datasets/tpch/50x/text_date/'
    ）COMMENT';
    CREATE EXTERNAL TABLE c_comment.tpch_50x_text(
    `n_nationkey` int,
`n_name` string,
`n_regionkey` int,
`n_comment` string
    ）ROW FOREMAT DELIMITED
    FIELDS TERMINATED BY '|'
    STORED AS tpch_50x_text LOCATION'oss://oss-*/datasets/tpch/50 x/text_date/nation_text;DLAのOSSに対するデータクエリについては、以下を参照してください。https://yq.aliyun.com/article... （教程：Data Lake Analytics+OSSを使ってCSV形式のTPC-Hデータセットを分析する）https://yq.aliyun.com/article... （教程：Data Lake Analytics+OSSデータファイルフォーマット処理大全）https://yq.aliyun.com/article... （Data Lake AnalyticsにおけるOSS LOCATIONの使用説明）https://yq.aliyun.com/article... （教程：Data Lake Analyticsを使ってパーティション表を作成する方法）https://yq.aliyun.com/article... （Data Lake Analyticsを使って、OSS上のログファイルを迅速に分析する）https://yq.aliyun.com/article... （教程：DLAによるデータファイルフォーマットの変換はどのように行いますか？）
    次の例のシーン：
    上海region DLAサービスを通じて、上海regionのOSS bucketデータを上海regionのADBに書き込みます。vpc_dla_data.nation SELECT*FROM tpch u50 x_text.nation上海region DLAサービスを通じて、上海regionのOSS bucketデータを北京regionのADBに書き込む。public_ads_dla_test.nation SELECT*FROM tpch u50 x_text.nation上海region DLAサービスを通じて、上海regionのADBデータを北京regionのADBに書き込む。public_ads_dla_test.nation SELECT*FROM shanghai uvpc_dla_data.nation上海region DLAサービスを通じて、北京regionのADBデータを上海regionのADBに書き込みます。vpc_dla_data.nation SELECT*FROM beijing upublic_ads_dla_test.nation
    jurlian.zhoo
    原文を読む
    本文は雲栖コミュニティのオリジナル内容です。許可なしに転載してはいけません。
    ORA-01652:unable to exted temp segment by 128 in tablespace TEMP 01