Athenaで統計情報を取得する

4713 ワード
AWS Athena パフォーマンス計測 AWS テキストリンク

背景・目的

  • Athenaでどこに時間がかかっているか内訳を調べたい。

結論

  • Athenaのget-query-executionのオプションを指定することで統計情報が取得できる。

内容

CLIで調査する

  • 以下のコマンドを実行する。
aws athena get-query-execution  --query-execution-id {クエリID} --query QueryExecution.Statistics --output table
  • 結果
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|                                                                             GetQueryExecution                                                                             |
+--------------------+------------------------------+----------------------------+-------------------------+---------------------------------+------------------------------+
| DataScannedInBytes | EngineExecutionTimeInMillis  | QueryPlanningTimeInMillis  | QueryQueueTimeInMillis  |  ServiceProcessingTimeInMillis  | TotalExecutionTimeInMillis   |
+--------------------+------------------------------+----------------------------+-------------------------+---------------------------------+------------------------------+
|  79139461          |  5083                        |  798                       |  295                    |  68                             |  5446                        |
+--------------------+------------------------------+----------------------------+-------------------------+---------------------------------+------------------------------+
  • DataScannedInBytes
    • スキャンしたデータ量（バイト数）
  • EngineExecutionTimeInMillis
    • クエリの実行にかかった時間（ミリ秒）
  • QueryPlanningTimeInMillis
    • Athenaがクエリ実行計画に要した時間（ミリ秒）
    • データソースからテーブルパーティションを取得するために費やした時間も含まれる。
    • この時間はEngineExecutionTimeのサブセット。
  • QueryQueueTimeInMillis
    • リソースを待機している時間。（ミリ秒）
    • 実行前の時間と思われる。
  • ServiceProcessingTimeInMillis
    • クエリ実行後、クエリ結果を公開するのに要した時間（ミリ秒）

  • TotalExecutionTimeInMillis

    • クエリを実行するのに要した時間（ミリ秒）
    • 合計時間と思われる。

  • TotalExecutionは以下のように整理できる。

    • 上述したとおりQueryPlanningTimeInMillisはEngineExecutionTimeInMillisのサブセットのため、計算対象から外しています。
内訳 実行時間 計算対象
EngineExecutionTimeInMillis 5083 　◯
QueryPlanningTimeInMillis 798
QueryQueueTimeInMillis 295 ◯
ServiceProcessingTimeInMillis 68 ◯
TotalExecutionTimeInMillis 5446

考察

  • これらの数字を確認することで以下の判断ができそう。
    • QueryQueueTimeInMillisが長い。
      • スループットが大きい。（多い）
      • 競合のクエリが多いなど。
      • アカウントあたりのAPIコールのクォーターの引き上げを検討する。
        • StartQueryExecution（デフォルト20/秒）
    • QueryPlanningTimeInMillisが長い。
      • テーブルパーティションを取得する時間も含まれるので、パーティション数が多いか追加で確認する。
      • GlueやAthenaのパーティションインデックスを検討する。
    • ServiceProcessingTimeInMillis
      • クエリの結果を返すのに時間がかかっている。
      • 単純にデータ量が多い場合が考えられる。

参考

https://docs.aws.amazon.com/cli/latest/reference/athena/get-query-execution.html
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/service-limits.html#service-limits-api-calls