Kubernetes Job のハマリポイント6つ

Kubernetes Job を業務で使用した後の反省点、注意点。

Job の単位を小さくする

Job は1つのタスク

• Cloud Storage (S3) へのファイルのアップロード

• メールの送信など

を管理するためのコントローラーオブジェクトです。1つの Job に複数のタスクを含まないようにしましょう。開発が進み、必要機能が増えていくと意外とやってしまいがちです。

Job は Node に残り続ける

Jobオブジェクトは完了後も残るため、ステータスを表示できます。ステータスを確認した後、古いJobを削除するのはユーザーの責任です。

Job を残したままにしておくとリソースを消費してしまうので削除する必要があります。一般には

• spec.ttlSecondsAfterFinishedを Job に設定

• successfulJobsHistoryLimit、failedJobsHistoryLimit を設定した Cron Job¹ の利用

といった方法があるのですが...

アルファ/ベータ版機能

spec.ttlSecondsAfterFinishedはアルファ版機能、Cron Jobはそれ自体がベータ版機能で未解決のバグもある模様。筆者環境では思い通りに動いてくれませんでした。結局 Kubernetes Job のクライアントライブラリを利用した独自の削除機能を実装しました

Job 実行には cluster-admin 権限が必要

Job の操作には cluster-admin 権限を実行アカウント(KSA²)に付与する必要があります。

$ kubectl create clusterrolebinding cluster-admin-permission-binding \
  --clusterrole=cluster-admin \
  --user=system:serviceaccount:default:default \
  --namespace=default

Job 起動リクエストは時折タイムアウトする

"Failed to runJob: The POST operation against Job.batch could not be completed at this time, please try again."

筆者環境だと1000回に1回くらいタイムアウトが発生します。Job は「タスクが完了するまでのリトライ機能を備えたもの」とも言えますが、Job 自体が起動しないとどうしようもないので、Job 起動リクエストのタイムアウトは検知し、再度起動リクエストを行うような実装にしましょう。

restartPolicy

備考: JobにrestartPolicy = "OnFailure"がある場合、Jobのバックオフ制限に達すると、Jobを実行しているコンテナが終了することに注意してください。

特に理由がない限りは、.spec.template.spec.restartPolicy = "Never"としておいた方が無難です。