出会いは突然に…

ふらっとDynamoDBを眺めていると、信じられないアトリビュートでデータがputされているのを発見しました。
まぁ何かって言うと、アトリビュートに半角スペースが入っているだとぉ！？！？

{
  "id": "hoge",
  "record_time": "2018/10/26T00:00:00Z",
  "sensor value": "100"
}

sensor value みたいな感じで半角スペースが入っていました。

何が困るか

DynamoDBからJSONをS3に吐き出してAthenaでデータを解析しようとすると、当然半角スペースが存在しているので失敗します。
SQLで半角スペースがアトリビュートに入っているなんてことありえませんからね…

そんなときにAWSGlue

AWSGlueはETLのサービスです。
最近DynamoDBをデータソースに指定することができるようになりました。
AWSGlueではデータソースから取得したデータをJSONなどに変換してS3などに置くことができます。
なので半角スペースを _ などに変換してJSONを吐き出していきます。

Glueを使っていく

テーブルの作成

まずテーブルを作成する必要があります。
このテーブルはGlueのデータソースになるものです。
テーブルといっても実際のデータを持っているのではなく、対象となるデータソースのプロパティだったりとか、スキーマなどを持っているものになります。
クローラを回して作成していきましょう。

完了を押すと、クローラのリスト画面に戻りこのようなメッセージが出るので、「今すぐ実行しますか？」をクリックして、クローラを実行します。

対象クローラのステータスが「Stopping」になれば完了しています。

作成したテーブルの情報は、テーブルのリスト画面で確認することができます。

ジョブの追加 / 実行

ジョブを追加していきます。

成功するとS3にファイルが生成されています。
中身はこんな感じ

{
  "id":"hoge",
  "record_time":"2018/10/26T00:00:00Z",
  "sensor_value":"100"
}

ちゃんと sensor value が sensor_value に変換されていますね！

さいごに

今回はDynamoDBからデータを抽出して、変換・加工してS3にオブジェクトをputするようなジョブを書きました。
DynamoDBを利用していると、割とアトリビュートの命名規則などがなんでもOKみたいな世界があり、今回のように半角スペースが含まれているなんて自体が発生します。
もちろんデータ設計、テーブル設計の段階で弾ければいいのですが、そうも行かない場合があります。
せっかく溜まったデータを分析できないままではただのゴミデータになってしまうので、Glueのようなサービスを活用してデータをクレンジングしましょう。
ではまた！