AmazonCloudWatchイベントがSQS FIFOに対応したようなのでただただツッコんでみただけの話
はじめに
Amazon CloudWatch イベントが、Amazon SQS FIFO をイベントターゲットとして追加
CloudWatch イベントが Amazon SQS FIFO をサポートするようになり、
イベントをネイティブに SQS FIFO キューにルーティングできるようになりました。
CloudWatch イベントでのターゲットの使用に関する詳細については、
こちらのドキュメントにアクセスしてください。
ということなので、
とりあえずS3Putイベントをツッコんでみました。
SQSを構成する
まずはFIFOキューを作成します。
FIFOは東京リージョンには対応していないのでバージニア北部を使います。
ここではキュー名は「TestQueue.fifo」としておきます。
FIFOの場合はサフィックスに「.fifo」と付けないと怒られて作成できません。
キューの属性で「コンテンツに基づく重複排除」にチェックを入れて、
それ以外はデフォルト値のままにします。
イベントを発生させるためのバケットを作成します
CloudWatchにルールを作る
CloudWatchイベントでS3Putイベントを拾うようにルールを作ります。
警告の通りCloudTrailはObjectPutが拾えるように設定しておきましょう。
そして本命の右側!
ターゲットに作成しておいたFIFOキューを追加します。
イベントを発生させてみる
準備が整ったのでイベントをキューにツッコむべく、
バケットにファイルをアップロードしてみます
SQSコンソールでキューを表示してみると…
入っていました!
SQSを使うこと自体が初めてなのでちょっと感動。
最後に
過去にLambdaでObjectPutを受けて処理することがありましたが、
スロットリングに悩まされていました。
そのときにこの仕組があればまた違った結果があったかもしれません。
東京リージョンだったんですけど。
SQS FIFOは複数回実行されないことが保証されているので、
イベントを受けるのに相性がいいと思います。
東京に来ていないのが悔やまれますね。
トラブルシューティング
FIFOキューにテスト出力できない
キュー作成後にテスト出力しようとしてcliを叩いたけどこのようなエラーメッセージが出るとき
>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/hoghog/TestQueue.fifo --message-group-id "Hellow" --message-body "Hellow FIFO"
An error occurred (AWS.SimpleQueueService.NonExistentQueue) when calling the SendMessage operation: The specified queue does not exist for this wsdl version.
queue-urlにリージョンが入っているのにcliのデフォルトリージョンがus-east-1以外になっているのが原因のようです
aws configure
でキューのあるリージョンを指定すると治ります。
イベントがキューに入らないんだけど?
cliからキュー作成をしようとして以下のエラーメッセージが出ている場合は、
キューの設定で「コンテンツに基づく重複排除」にチェックが入っていません。
>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/hoghog/TestQueue.fifo --message-group-id "Hellow" --message-body "Hellow
An error occurred (InvalidParameterValue) when calling the SendMessage operation: The queue should either have ContentBasedDeduplication enabled or MessageDeduplicationId provided explicitly
イベントを受ける際にMessageDeduplicationIdが渡されてこないからかもしれません。
たぶん。
Author And Source
この問題について(AmazonCloudWatchイベントがSQS FIFOに対応したようなのでただただツッコんでみただけの話), 我々は、より多くの情報をここで見つけました https://qiita.com/LightSilver7/items/fdf661e157539061fda9著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .