ingress rollingUpdateピット記録
ネット上の多くのドキュメントではdeploymentがreadinessを構成すれば無損rolling updateを実現できると言われていますが、事実は本当にそうですか?
最近、deploymentで定義されたreplicasインスタンス数が1つしかない場合、rollingupdateを実行するとピットが発生する現象を生産環境で発見しました.
公式ドキュメントの説明によると、deploymentはrollingupdateを実行し、起動時に新しいバージョンのpodを引っ張って古いバージョンのpodを乾かし、すべてのpodを徐々に新しいバージョンにアップグレードします.
しかし、実際のテストでは、rollingupdateを実行すると、古いreplicasのpodがすぐに1つ削除されることがわかりました.
rollingupdate前:
rollingupdate:
rollingupdateを実行するとdeploymentは新しいrsを作成し、古いrsのpodを乾かします.
ここでは、新旧pod READYのフィールドが0であるにもかかわらず、ここで問題があります.rollingupdateを実行するには、新しいバージョンのサービスの起動が遅い場合(tomcatなど)、この期間はサービスが利用できません.
rollingupdate後:
別の端末からcurlリクエストが1 sおきに開始され、アップグレード中にサービスが中断されることがわかります.
インスタンス数(replicas数)>1の場合、rollingupdate中にサービスは中断されません.
添付:deployment yaml
最近、deploymentで定義されたreplicasインスタンス数が1つしかない場合、rollingupdateを実行するとピットが発生する現象を生産環境で発見しました.
公式ドキュメントの説明によると、deploymentはrollingupdateを実行し、起動時に新しいバージョンのpodを引っ張って古いバージョンのpodを乾かし、すべてのpodを徐々に新しいバージョンにアップグレードします.
しかし、実際のテストでは、rollingupdateを実行すると、古いreplicasのpodがすぐに1つ削除されることがわかりました.
rollingupdate前:
root@ubuntu:~ # kubectl get rs
NAME DESIRED CURRENT READY AGE
webtest-static-test-com-56678f6856 1 1 1 50m
rollingupdate:
root@ubuntu:~ # kubectl get rs
NAME DESIRED CURRENT READY AGE
webtest-static-test-com-56678f6856 0 0 0 50m
webtest-static-test-com-7d785c987 1 1 0 25m
rollingupdateを実行するとdeploymentは新しいrsを作成し、古いrsのpodを乾かします.
ここでは、新旧pod READYのフィールドが0であるにもかかわらず、ここで問題があります.rollingupdateを実行するには、新しいバージョンのサービスの起動が遅い場合(tomcatなど)、この期間はサービスが利用できません.
rollingupdate後:
root@ubuntu:~ # kubectl get rs
NAME DESIRED CURRENT READY AGE
webtest-static-test-com-56678f6856 1 1 1 50m
webtest-static-test-com-7d785c987 0 0 0 25m
別の端末からcurlリクエストが1 sおきに開始され、アップグレード中にサービスが中断されることがわかります.
root@ubuntu: ~ # for i in {0..99};do curl http://webtest-static.test.com/index.html ;echo;sleep 1;done
This is server01 - Version - 2
This is server01 - Version - 2
503 Service Temporarily Unavailable
503 Service Temporarily Unavailable
nginx/1.15.8
503 Service Temporarily Unavailable
503 Service Temporarily Unavailable
nginx/1.15.8
... ...
This is server01 - Version - 3
This is server01 - Version - 3
インスタンス数(replicas数)>1の場合、rollingupdate中にサービスは中断されません.
添付:deployment yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: webtest-static-test-com
spec:
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 1
replicas: 1
template:
metadata:
labels:
app: webtest-static-test-com
domain: webtest-static.test.com
version: v1
spec:
imagePullSecrets:
- name: registry.cn-hangzhou.aliyuncs.com
containers:
- name: webtest-static-sysop-duowan-com
image: registry.cn-hangzhou.aliyuncs.com/test/webtest_static:2.6
command: ["/bin/bash","/data/scripts/run.sh"]
- name: DLC-WEBTEST--WEBTEST1
value: "true"
ports:
- containerPort: 80
readinessProbe:
exec:
command:
- curl
- http://webtest-static.test.com/index.html
- -x
- "127.0.0.1:80"
initialDelaySeconds: 20
periodSeconds: 5
successThreshold: 1
---
apiVersion: v1
kind: Service
metadata:
name: webtest1-svc
labels:
app: webtest-static-test-com
test: test1
spec:
ports:
- port: 80
targetPort: 80
protocol: TCP
name: http
selector:
app: webtest-static-test-com