ElasticBeanstalkのワーカー環境で定期バッチ処理を動かしてみた

はじめに

適当になりがちだけど、扱いに悩むことも多い定期バッチ処理。
ちょっとしたタスクならWebサーバ内のcronで呼び出しちゃったりするけど、コンテナ＋複数インスタンスの環境で、ちょっとスマートな感じにしたい。
定番はSQS+Lambdaかと思いますが、既にWebアプリ上に機能があったりする場合、ElastiBeanstalk（以下EB）のワーカー環境が便利です！

こんな仕組みらしい。
ややこしいキューの管理はEBにお任せできちゃいます。

公式ドキュメント：AWS Elastic Beanstalk ワーカー環境

EB環境の作り方等はドキュメントをご参考ください。
AWS Elastic Beanstalk 環境を作成する

APIを用意する

ワーカー環境内のSqsdからHTTP POSTで呼び出されます。
なので、通常のWeb APIとして処理を実装すればOK。
かんたんですね！

とはいえ、同じアプリケーションをWebに公開している場合は外部からアクセスされたくないので、IP制限的なものはかけておきましょう。
こんな感じで、ネットワーク外からのアクセスをブロック。

if (request.remote_ip =~ /(^10\.|^172\.(1[6-9]|2[0-9]|3[0-1])\.|^192\.168\.)/).nil?
  redirect_to root_path
end

cron.yamlを用意する

タスクの名前と↑で用意したAPIのURL、実行スケジュールを定義したcron.yamlを作ります。
scheduleはcronの形式そのまんま。

version: 1
cron:
 - name: "batch_task_1"
   url: "/batch/task_1"
   schedule: "* *1 * * *"
 - name: "batchtask_2"
   url: "/batch/task_2"
   schedule: "* */12 * * *"

cron.yamlに記述したschedule通りにEBがSQSのキューにメッセージを追加し、それを受け取ったEBのSqsdがHTTP POSTでURLを呼び出されます。
という仕組みのようです。

あとは、ソースバンドルに含めてzip形式にしてアップすれば

おまけ（ハマりポイントその１）
cron.yamlはECRのイメージ内に置いてもダメ

今回の環境はMulti ContainerなEB環境で、Dockerrun.aws.jsonのみをアップロードし、ECRからイメージを持ってきてデプロイしています。
試しにcron.yamlをプロジェクトルートに置いてECRにプッシュしてみたのですが、これではスケジュールは登録されず。
Dockerrun.aws.jsonと一緒にzip化したものをアップしてデプロイ時のソースバンドルとして指定したところ、無事登録できました。
問題なく登録できた場合は、EBダッシュボードのイベント内に

Successfully loaded 2 scheduled tasks from cron.yaml.

のように表示されるはずなので、これを確認しましょう。

おまけ（ハマりポイントその２）
Lhaplusで圧縮したらうまく読み込まれない

これは本当に原因が謎。
ワーカー環境云々というより、EBの仕様かな？
ドキュメントに書いてある通り、送る→圧縮(zip形式)フォルダー（Window環境）としたら問題なくアップできました。

おまけ（ハマりポイントその３）
なぜか5分に1度呼び出される

APIが
204 No Content
を返しているのが原因で、デッドレターキューにメッセージがいってた。。
API処理の最後に以下を追加して解決。（Rails）

    render body: nil