今回は DynamoDB の大容量データに関しての勉強記録となる.なお,記事は適宜更新していく.
また,DynamoDBの雑多なまとめ記事はこちらに書いている.

ビッグデータ関連でのDynamoDB

DynamoDB は、分析、データウェアハウス、データのインポート/エクスポート、バックアップ、およびアーカイブの目的でEMR、Redshift、Data Pipeline、S3などの他のサービスと統合される

大きな項目と属性を格納するベストプラクティス

1つ以上の大きな属性を圧縮するか：圧縮するとコストが削減される。GZIPやLZOなどの圧縮はバイナリで、バイナリ属性タイプに格納できる
S3にオブジェクトとして格納して、メタデータをDynamoにいれるか

大容量ストリームのイベントの設計

・単一のWCUで捌ける各イベント項目のサイズ(1kb以下)を決める。
・1つの物理パーティション(10GB)に治るイベント項目の数を予測する
・毎秒書き込まれる受信イベント数を予測する
・期間ごとに1つのテーブルを作り直す
・古いデータは、S3やGlacierにアーカイブしてテーブルを削除する

ユースケース

読み書きのレイテンシーが低く、コードの変更やダウンタイムを伴わずにストレージとスループットを必要に応じてスケールアップ/ダウンできる柔軟なNoSQLデータベースを必要とするアプリケーションに最適

• モバイルアプリ
• ゲーム
• デジタル広告サービス
• ライブ投票
• ライブイベントへのオーディエンス参加
• センサーネットワーク
• ログ処理
• ウェブベースコンテンツへのアクセスコントロール
• S3 オブジェクトのメタデータストレージ
• e コマースショッピングカート
• ウェブセッション管理