fluent-bitで取得したログに、ログの取得時間を付与する
ドキュメントを読んでこうすればできるじゃんって気づくまで少し時間がかかったので、自分と同じようなことをしたい人の時間を救いたい。
[STREAM_TASK]
Name nginx
Exec CREATE STREAM something AS SELECT *, NOW() FROM TAG:'*-firelens-*' WHERE container_name = 'aaaaaaaa';
こうすると、一応fluent-bitが取得するログに現在時間が含まれるのだが、"NOW()":"2020-10-06 10:47:23"
のようにkeyがNOW()になってしまう。
これだとなんか変だし、S3にあるログファイルをAthenaで検索するためにカラムを追加しようにもNOW()
というカラムは作れないので、実用的にも問題がある。
ということで、keyの名前を変える方法を調べた。
[FILTER]
Name modify
Match *
Rename NOW() time
これでできた。
[STREAM_TASK]
Name nginx
Exec CREATE STREAM something AS SELECT *, NOW() AS time FROM TAG:'*-firelens-*' WHERE container_name = 'aaaaaaaa';
のように、NOW() AS time
とかでできるかと思ったのですが、できませんでしたので、このようにやるに至りました。
"time":"2020-10-07 06:32:58"
これでAthenaで検索もできます。
以上。
Author And Source
この問題について(fluent-bitで取得したログに、ログの取得時間を付与する), 我々は、より多くの情報をここで見つけました https://qiita.com/masalennon/items/b5673328870389cb5132著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .