DatadogでAWSイベントを定期監視する
金曜の夜に見たくないアラートが。
続いて複数プロダクトで強制シャットダウン祭り。
DatadogでAWSイベントを監視していたのでアラートは飛んできたけど、全てのイベントが通知されてないことに気付いた。8イベント中、最初と最後の2件しかきてない。
これよく考えたら当前で、障害自体は5時間近く続いた1イベントなので、障害中のイベントは一切飛んでこない。
中間イベントも送信したかったら監視モニターにある「automatically resolve...」なんちゃらのオプションを有効化しておけば良い。例えば1時間後にアラートを自働で閉じて、その後も障害が続く場合は続報も飛ばしてくれるようになる。
Terraformならこんな感じ。
resource "datadog_monitor" "aws_service_check" {
name = "AWS service check"
type = "service check"
message = local.message
query = "'aws.status'.over('region:ap-northeast-1').by('region','service').last(2).count_by_status()"
renotify_interval = 60
thresholds = {
critical = var.aws_service_check["thresholds.critical"]
}
tags = ["aws"]
}
朝6時にようやく落ち着いた。寝る。
Author And Source
この問題について(DatadogでAWSイベントを定期監視する), 我々は、より多くの情報をここで見つけました https://qiita.com/naomichi-y/items/540ff6f0676ce3a59978著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .