AWS Athenaを使ってCloudTrailのログを自分で設定した項目について解析したメモ
前提
Athenaのこと、きちんと理解できていないかもしれません。以下の記述はその場しのぎでうまくいっただけの可能性があります。
やりたいこと
CloudTrailのログを必要な項目だけで解析したい。
最初にやってうまくいかなかった方法
ColudTrailのイベント履歴からAmazon Athena で高度なクエリを実行しますで自動作成されるAthenaのテーブルは、自分で項目を追加することができませんでした。
CREATE EXTERNAL TABLE [TABLE_NAME] (
eventVersion STRING,
userIdentity STRUCT<
type: STRING,
principalId: STRING,
arn: STRING,
accountId: STRING,
invokedBy: STRING,
accessKeyId: STRING,
userName: STRING,
sessionContext: STRUCT<
attributes: STRUCT<
(中略)
sharedEventID STRING,
vpcEndpointId STRING
)
COMMENT 'CloudTrail table for [S3_BUCKET_NAME] bucket'
ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '[S3_BUCKET_URL]'
TBLPROPERTIES ('classification'='cloudtrail');
ここで指定している項目(例えば userIdentity.type など)以外は、いくら上記のCREATE TABLEの内容をコピペしてAthenaで直接必要な項目を追加してテーブルを作成しても、クエリ(SELECT)時にその追加した項目を指定すると構文エラーが起こってしまいました。
どうも ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'でSerDeをCloudTrailSerdeを指定すると、デフォルトの項目しかシリアライズ・でシリアライズしてくれないもようでした。
うまくいった方法
以下の記事を見つけて解決
CloudTrailログからAmazon Athenaを使ってログイン監査レポートを作成する
こちらの記事では、SerDeをROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'を指定し、CloudTrailのログJSONファイルのから取得していました。
CREATE EXTERNAL TABLE IF NOT EXISTS records_201702 (
records ARRAY<
STRUCT<
eventTime:STRING,
eventSource:STRING,
eventName:STRING,
awsRegion:STRING,
sourceIPAddress:STRING,
userIdentity:STRUCT<
type:STRING,
arn:STRING
>
>
>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://[CloudTrailログ出力バケット名]/[prefix指定があれば]/AWSLogs/[AWSアカウントID]/CloudTrail/[Region]/2017/02';
こうしたらうまくいきました！
ちなみにクエリーは、records[]に複数含まれるSTRUCTを取得する必要があるので、以下のようになります。
SELECT \
record.eventTime, \
record.eventName, \
record.userIdentity.type, \
FROM JOIN UNNEST(records) AS t (record) \
WHERE record.eventName = 'GetObject' \
LIMIT 10;
上記はS3のGetObjectイベントだけ10件取得するクエリーです。
最後に
Athenaのことをきちんと理解できていれば、もっとスマートなやり方がある
のかもしれません。もし記述した内容に間違いがあればすぐ訂正いたしますので、ご指摘いただければ嬉しいです。
Author And Source
この問題について(AWS Athenaを使ってCloudTrailのログを自分で設定した項目について解析したメモ), 我々は、より多くの情報をここで見つけました https://qiita.com/genyu/items/64a22d72c68f214fcd8e著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .