認定ビッグデータ - 専門知識勉強記~RedShift~

6830 ワード

今回は RedShift に関する勉強記録となる.なお,記事は適宜更新していく.

基本情報

特徴
* リーダーノードと、コンピューターノードがいる
* データサイズは最大2PB
* 超並列(MPP)、列型志向DBエンジンによる高速SQL処理
* スケールアウト可能(最大128台)
* PostgreSQL との互換
* 管理機能がビルトインされている
* バックアップ機能：スナップショットをS3に保存
* Workload Management：実行に長い時間をようするクエリ(ロングクエリ）クラスタ全体のボトルネックとなり、ショートクエリを持たせる可能性がある.WLMで用途ごとに、クエリー並列どの上限を設けた複数のキューを定義することでクエリー処理の制御が可能.

</p><div> <strong> <a href="//www.slideshare.net/AmazonWebServicesJapan/20190122-aws-black-belt-online-seminar-amazon-redshift-update" title="20190122 AWS Black Belt Online Seminar Amazon Redshift Update" rel="nofollow noopener" target="_blank">20190122 AWS Black Belt Online Seminar Amazon Redshift Update</a> </strong> from <strong><a href="https://www.slideshare.net/AmazonWebServicesJapan" rel="nofollow noopener" target="_blank">Amazon Web Services Japan</a></strong> </div> <h2> <span id="データのロード" class="fragment"/>データのロード</h2> <p>S3、DynamoDB、EMRなどからCOPYコマンドを使ってデータをロードするのがよい</p> <p><em>S3からのデータロード</em><br/> 1.データを複数のファイルに分割する(圧縮もしとく<br/> 2.S3にファイルをアップロードする<br/> 3.COPYコマンドを実行してテーブルをロードする<br/> 4.データが正しくロードされたことを確認する</p> <p>ストリームデータは、<code>Firehose->S3->Redshift</code>にロードするのがよい<br/> 逆にRedshiftからS3へのエクスポートもMPPで多数のファイルに分割してエクスポートする</p> <h1> <span id="ディストリビューションの選択" class="fragment"/>ディストリビューションの選択</h2> <div class="code-frame" data-lang="text"><div class="highlight"><pre><code>CREATE TABLE .... DISTSTYLE {EVEN | KEY | ALL} </code></pre></div></div> <ul> <li>EVEN : ラウンドロビンで均一分散(デフォルト)</li> <li>KEY(DISTKEY): 同じキーを同じ場所に</li> <li>ALL : 全ノードにデータをコピー</li> </ul> <h2> <span id="イメージ" class="fragment"/>イメージ</h2> <p><a href="https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-amazon-redshift" rel="nofollow noopener" target="_blank"><img src="https://s1.md5.ltd/image/5aba82c95cda135b1e06cb49c5a1fda4.jpg" loading="lazy" class="check_url_is_full"/></a><br/> <strong> <a href="//www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-amazon-redshift" title="AWS Black Belt Online Seminar Amazon Redshift" rel="nofollow noopener" target="_blank">AWS Black Belt Online Seminar Amazon Redshift</a> </strong> from <strong><a href="//www.slideshare.net/AmazonWebServicesJapan" rel="nofollow noopener" target="_blank">Amazon Web Services Japan</a></strong> </p> <h1> <span id="redshiftの設計" class="fragment"/>Redshiftの設計</h2> <p>・ノードスライス：ノード数×CPU数。Redshiftはノードスライごとにデータを格納し、各CPUがげ並列でデータ操作を行うことで超高速に大量のデータを処理できる<br/> ・分散キー(DISTKEY)：ノードスライスにデータを振り分ける時の基準となる絡むのことをさす。Redshiftは分散キーに指定された各レコードの値のハッシュ値を計算してハッシュ値ごとにノードスライスにデータを分散させる。分散キーはテーブルに対して1つしか設定できない。分散の仕組みは、EVEN、KEY、ALL。<br/> ・ソートキー(SORTKEY):データの並び順を決める時の基準となるカラムのこと。そーとキーには最大で400個までカラムを指定できるが、MySQLのように複数のインデックスを貼ることはできない。複合インデックスにカラムを400個指定できるだけ。</p> <h1> <span id="分散キーの選定" class="fragment"/>分散キーの選定</h2> <p>・分散キーに指定するカラムの値は均等に分散されているか(なぜ？):<br/> 分散キーに指定した値が偏っている場合、ノードスライスごとに処理するデータ量に偏りが出てしまい、早く処理が終わってしまうノードスライスがあったとしても、一番データ量の多いノードスライスの処理が終わるまで待ちが発生してしまいます。したがって、各ノードスライスの処理時間が均一になるように分散キーに指定するカラムは値が均一に分散している必要があります。</p> <p>・ノードスライスの数よりもあたいの種類が多いか(なぜ？):<br/> ノードスライス数よりも分散キーに指定した値の種類が少ない場合、データが割り振られないノードスライスができてしまい分散処理の機能をフルで使うことができません。例えばCPU数が４個でノード数が4のノードスライス16に対して月のようなカラムを分散キーに指定すると4つのノードスライスにデータが割り振られないことになります。なので分散キーには指定するカラムはノードスライスよりも多くなるようなカラムを指定しなければいけません。</p> <p>・分散キーがWHERE句の１番最初にはいっているか(なぜ？):<br/> 分散キーに指定したカラムをWHERE句の最初に指定している場合、データの入っているノードスライスが１つに確定されてしまいます。そのため他のノードスライスで処理する必要がなくなってしまい、分散処理を有効に活用することができません。したがって、WHERE句の最初に指定しないといけないようなカラムは分散キーには適していません。</p> <h1> <span id="ソートキーの選定" class="fragment"/>ソートキーの選定</h2> <p>・ORDER BY, GROUP BYなどのソート処理で指定されるか：<br/> クエリ実行時のソート処理を削減できるため実行時間を短くすることができます。</p> <p>・WHERE句に指定してゾーンマップを有効にできるか：<br/> Redshiftは1MBごとにデータブロックを作り、ソートキーに指定されたカラムの最小値と最大値をメタデータとして持つゾーンマップという仕組みがあります。ゾーンマップを使うことでデータのあるブロックをピンポイントに検索できるので処理を効率化することができます。</p> <p>したがって、ソートキーをWHERE句の一番最初に指定すると高速で検索処理をすることができます。ソートキーにはCOMPOUND SORTKEYとINTERLEAVED SORTKEYという種類があり、ソートキーの指定順や、WHERE句の指定の仕方によってメリットデメリットがあるのでそれらも考慮する必要があります。</p> <h1> <span id="テーブル設計のベストプラクティス" class="fragment"/>テーブル設計のベストプラクティス</h2> <ul> <li>Redshiftはソートキーに応じたデータをディスクに格納する <ul> <li>最新のデータが最も頻繁にクエリ処理される場合、タイムスタンプ列をそーとキーの主要な列として指定する</li> <li>1 つの列に対して範囲フィルタリングまたは等価性フィルタリングを頻繁に実行する場合は、その列をソートキーとして指定する</li> <li>テーブルを頻繁に結合する場合は、結合列をソートキーと分散キーの両方として指定します。</li> <li>最適な分散スタイルの洗濯</li> <li>クエリを実行する前にデータを適切な場所に配置することで、再分散ステップの影響を最小限に抑える</li> <li>1.ファクトテーブルと 1 つのディメンションテーブルをそれらの共通の列に基づいて分散させる</li> <li>2.フィルタリングされたデータセットのサイズに基づいて最大ディメンションを洗濯する <ul> <li>3.フィルタリングされた結果セットで高い濃度の行を選択する</li> <li>4.ALL 分散を使用するように一部のディメンションテーブルを変更する</li> </ul> </li> <li>COPYによる圧縮エンコードの選択</li> <li>テーブルを作成するときに圧縮エンコードを指定できますが、ほとんどの場合、自動圧縮が最も適切な結果になる制約の定義</li> <li>アプリケーションが制約を適用しない場合は、プライマリキーおよび外部キーの制約を定義しないでください。Amazon Redshift は、一意性、プライマリキー、および外部キーの制約を強要することはありません。最小列サイズの使用</li> <li>列の最大サイズを使わない</li> <li>複雑なクエリの処理中に、一時テーブルに中間クエリ結果を格納しなければならない場合があります。一時テーブルは圧縮されないので、不必要に大きな列がメモリおよび一時ディスク領域を過剰に消費して、クエリパフォーマンスに影響を与える可能性があります。日付での日時データ型の使用</li> <li>Redshift は、DATE および TIMESTAMP データを CHAR または VARCHAR よりも効率的に格納するので、クエリパフォーマンスが向上する</li> </ul> </li> </ul> <h1> <span id="ユースケース" class="fragment"/>ユースケース</h2> <h2> <span id="バッドパターン" class="fragment"/>バッドパターン</h2> <p>・OLTP - OLTPデータベースを使用する<br/> ・非構造化データ - NoSQLを使用する<br/> ・小規模なデータセット - 数百GB未満で実現不可<br/> ・バイナリデータ - 画像、ビデオ、音楽<br/> ・多くの変換が必要 - EMRを実行し、結果をRedshiftにロードする</p> <h2> <span id="グッドパターン" class="fragment"/>グッドパターン</h2> <p>・データを複数のファイルに分割する<br/> ・GZIPまたはLZOPを使用してファイルを圧縮する<br/> ・COPYコマンドを使用して、S3、DynamoDB、EMRiftから大きなデータセットをロードする<br/> ・WHERE文の中で最も使用されている列は、特にソートキーの範囲です<br/> ・JOIN、GROUP BY、配布キーとしての最大カーディナリティで最も使用されている列<br/> ・長い実行クエリの方が大きいノードが大きい方が良い<br/> 例：より少ないdc1.8より大きい<br/> ・短い実行クエリの方が多くのノードが優れています<br/> 例：より多くのdc1.largeより少ないdc1.8xlargeより少ない</p> <h1> <span id="wlm" class="fragment"/>WLM</h2> <p>WLMはクエリーをキューに挿入し、実行の順序を管理します</p> <p>3つのデフォルトキューがある<br/> ・スーパーユーザー：1つの並行クエリ（Linuxでのrootログインのようなもの）<br/> ・ワーカー：5つの平行クエリ<br/> ・プロセッシング：バックグランドプロセス</p> <h1> <span id="運用" class="fragment"/>運用</h2> <h2> <span id="バックアップ" class="fragment"/>バックアップ</h2> <p>S3への自動バックアップをとる<br/> スナップショットは別リージョンにレプリケートできる</p> <h2> <span id="暗号化" class="fragment"/>暗号化</h2> <p>・RedshiftへのSSLの接続が可能<br/> ・S3からロードのデータも暗号化可能<br/> ・保存時の暗号化(S3はSSE-S3、RedshiftはHSMとCloudHSM)</p> <h2> <span id="スケーリング" class="fragment"/>スケーリング</h2> <p>・ノードの追加、削除と、ノードタイプの変更も可能<br/> ・シングルノードとマルチノードも変更できる<br/> ・古いクラスタに設定されたデータは、サイズ変更されたクラスタに収まる必要があります<br/> ・新しいクラスタは新しい設定から起動する</p> <h2> <span id="耐障害性" class="fragment"/>耐障害性</h2> <p>・S3スナップショットを使用して新しいAZでRedshiftを復元できます<br/> ・ドライブ障害 - わずかな性能低下<br/> ・ノード障害 - 自動ノード回復が完了するまでアクセスしない</p> </div><div class="container-fluid p-0"> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-3219747971601011" crossorigin="anonymous"></script>  <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-3219747971601011" data-ad-slot="3872614099" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> <div class="source-div row mt-4 pt-2"> <div class=""> <div class="alert alert-light col-12 " role="alert" style="background-color:#f2f2f2;"> <h5 class="text-dark">Author And Source</h5> この問題について(認定ビッグデータ - 専門知識勉強記~RedShift~), 我々は、より多くの情報をここで見つけました<a href="https://qiita.com/tada_infra/items/b82d69c5baa35ba153b4" rel="noreferrer noopener nofollow" class=" h4 text-warning"> <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" fill="currentColor" class="bi bi-link-45deg" viewBox="0 0 16 16"> <path d="M4.715 6.542 3.343 7.914a3 3 0 1 0 4.243 4.243l1.828-1.829A3 3 0 0 0 8.586 5.5L8 6.086a1.002 1.002 0 0 0-.154.199 2 2 0 0 1 .861 3.337L6.88 11.45a2 2 0 1 1-2.83-2.83l.793-.792a4.018 4.018 0 0 1-.128-1.287z"></path> <path d="M6.586 4.672A3 3 0 0 0 7.414 9.5l.775-.776a2 2 0 0 1-.896-3.346L9.12 3.55a2 2 0 1 1 2.83 2.83l-.793.792c.112.42.155.855.128 1.287l1.372-1.372a3 3 0 1 0-4.243-4.243L6.586 4.672z"></path> </svg> https://qiita.com/tada_infra/items/b82d69c5baa35ba153b4 </a> <hr> <p class="m-0 p-0 small " style="font-size: 12px;line-height: 1.8;"> 著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。</p> <p class="mt-0 m-0" style="line-height: 1.8;"> <small class="" style="font-size: 12px;"> Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .</small> </p> </div> </div> </div> </div> <div class="row mb-4 pt-4 pb-4"></div> </article> </div>  </div>  </div>  </div>   <div class="col-12 col-xxl-3 col-xl-3 "> <div class="card sticky-top" style="top: 20px;"> <div class="row"> <aside class="col-md-12 col-xxl-12 d-none d-md-block pt-0"> <div class="sticky"> <div class="container-fluid p-0 m-0 bg-light-off "> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-3219747971601011" crossorigin="anonymous"></script>  <ins class="adsbygoogle" style="display:inline-block;width:300px;height:600px" data-ad-client="ca-pub-3219747971601011" data-ad-slot="1251860546"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> </div> </aside> </div> <div class="card-body"> <div class="row "> <aside class="col-md-12 col-xxl-12 d-none d-md-block pt-3"> <div class="sticky">               </div> </aside> </div> </div>  </div>  </div>   </div> </div> <footer class="bg-light p-3 mt-5"> <div class="container"> <div class="row gutter-3"> <div class="col-12 col-md-12 text-white text-center text-lowercase"> <p class="mb-0 text-black-50 small text-lowercase">©2022 jpdebug.com. All Rights Reserved. | <a href="/privacy" target="_blank" class="text-dark" rel="nofollow">Privacy Policy</a> | <a href="/contact_us" target="_blank" class="text-dark" rel="nofollow">Contact US</a> | <a href="/sitemap.xml" target="_blank" class="text-dark" rel="nofollow">Sitemap</a></p> </div> </div> </div> </footer>   <div class="nk-cookie-banner alert alert-secondary text-center mb-0 small" role="alert" style="background: rgba(255, 255, 255, .6);border-color:#f2f2f2;-webkit-backdrop-filter: blur(10px);backdrop-filter: blur(20px);"> 🍪このウェブサイトは、あなたが我々のウェブサイトで最高の経験を得ることを確実とするために、クッキーを使います。 <a href="/privacy" target="blank" rel="nofollow">プライバシー条項の表示</a> <button type="button" class="btn btn-primary btn-sm ml-3 shadow-none" onclick="window.nk_hideCookieBanner()"> 同意します </button> </div> <script src="https://cdn.jsdelivr.net/npm/jquery@3.6.0/dist/jquery.min.js"></script> <script src="http://cdnjs.cloudflare.com/ajax/libs/highlight.js/9.2.0/highlight.min.js"></script> <script src="https://cdn.jsdelivr.net/npm/bootstrap@5.1.3/dist/js/bootstrap.bundle.min.js"></script> <script src="https://cdn.jsdelivr.net/npm/clipboard@2.0.8/dist/clipboard.min.js"></script> <script src="/static/all_theme_package/quick-website.min.js"></script> <script src="/static/all_theme_package/cookie-banner.js"></script><script> var _hmt = _hmt || []; (function () { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?d95bbf01f0dd90da512ecedf1d9661bd"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> <script async src="//static.getclicky.com/101379076.js"></script>      <script src="/static/all_theme_package/auto-enable-prism.js"></script> <script src="/static/all_theme_package/prism.min.js"></script></body> </html><script src="/cdn-cgi/scripts/7d0fa10a/cloudflare-static/rocket-loader.min.js" data-cf-settings="c92ee6481e460889fe12f083-|49" defer></script>

認定ビッグデータ - 専門知識 勉強記~RedShift~

基本情報

認定ビッグデータ - 専門知識勉強記~RedShift~