Embedded HarborをTKC(TKG Guest Cluster)から使えるようにする

12321 ワード
harbor tanzu kubernetes kubernetes テキストリンク

問題提起

vSphere for k8sの目玉機能としてvCenterからEmbedded Harborをつくることができるという点です。
こんな感じでvCenterからHarborをいじれるようになります。

基本的には、これをそのまま使えばいいのですが、一つ問題があり、 TKC(Tanzu Kubernetes Guest Cluster)からは利用できないという点です。
理由がHarborのSSL証明書がTKC側で登録がされておらず、使えない状態のためです。

海外のブログで直しかたが紹介されていますが、異様に煩雑な手順となっており、気軽に試せそうにないです。

この記事では、上の改良版として

  • Step 2.をKubernetesの仕組みで自動化
  • Step 3.の手順を汎用化
  • Step 4.も改良
  • 日本語化 したものとなっています。

注意事項

この手段はサポートされた手段ではないです。
また、Privileged Podsの仕組みを使っているので、セキュリティ上よろしくない手段です。
よく理解した上、自己責任でお願いします。

手順

1. TKCのKubeconfigを生成する

まずTKCのkubeconfigをダウンロードするのですが、手順はここにあるものを使います。

最後のtkg-cluster-kubeconfig-adminをKUBECONFIG関数などにエクスポートします。

export KUBECONFIG=/enter_dir/tkg-cluster-kubeconfig-admin

kubectl get nodesなどして、問題ないか確認します。

2. HarborのRoot証明書をSecretとして登録

次に、Root証明書をゲットします。

[ Cluster ] > [ Configure ] > [ Namespaces ] > [ Image Registry ]にあるのでそれをダウンロードします。

これを./root-certificate.txtなどに保管してkubernetes側に登録します。

kubectl create ns harbor-setup
kubectl create secret generic harbor-registry --from-file=./root-certificate.txt -n harbor-setup

3. TKCノードの証明書を更新するシェルスクリプト(ConfigMap)の用意

以下のシェルスクリプトを作成します。
これによってホストOSの証明書を更新するシェルスクリプトを実行します。

名前はharbor-setup.shとしてください。


#!/bin/bash
set -x

NSENTER="/usr/bin/nsenter -t 1 -m -u -n -i --"

HEAD=`cat /tmp/harbor-cert | head -2 | sed 1d`
${NSENTER} grep -q ${HEAD} /etc/pki/tls/certs/ca-bundle.crt || {

  ${NSENTER} cp /etc/pki/tls/certs/ca-bundle.crt /tmp/
  cat /tmp/harbor-cert  >> /host/ca-bundle.crt

  ${NSENTER} cp /tmp/ca-bundle.crt /etc/pki/tls/certs/ca-bundle.crt
  ${NSENTER} systemctl -a | grep -q docker.service && { 
    ${NSENTER} systemctl restart docker.service
    ${NSENTER} systemctl status docker.service
  }
  ${NSENTER} systemctl -a | grep -q containerd.service && { 
    ${NSENTER} systemctl restart containerd.service
    ${NSENTER} systemctl status containerd.service
  }
}
while true; do
 sleep 3600
done

そしてそれをConfigMapとして登録します。

kubectl create configmap harbor-setup-bash --from-file=harbor-setup.sh -n harbor-setup

4. Daemonsetを作成する。

harbor-setupネームスペースで、privileged podの作成を許可します。

kubectl create rolebinding  harbor-setup --namespace=harbor-setup --clusterrole=psp:vmware-system-privileged --group=system:serviceaccounts

以下を実行します。


kubectl create -n harbor-setup -f - <<EOF
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: harbor-setup
spec:
  selector:
    matchLabels:
      job: harbor-setup
  template:
    metadata:
      labels:
        job: harbor-setup
    spec:
      hostPID: true
      containers:
      - image: alpine
        name: harbor-setup
        command: ["sh", "/tmp/harbor-setup.sh"]
        securityContext:
          privileged: true
        volumeMounts:
        - name:  harbor-setup
          mountPath: /tmp/harbor-setup.sh
          subPath: harbor-setup.sh
          readOnly: true
        - name:  harbor-cert
          mountPath: /tmp/harbor-cert
          subPath: root-certificate.txt
          readOnly: true
        - name: host-mount
          mountPath: /host
      volumes:
      - name: harbor-setup
        configMap:
          name: harbor-setup-bash
      - name: harbor-cert
        secret:
          secretName: harbor-registry
      - name: host-mount
        hostPath:
          path: /tmp/
EOF

kubectl get ds -n harbor-setupでWorkerNode数分起動している確認します。

NAME           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
harbor-setup   3         3         3       3            3           <none>          11s

なお、このデーモンセットはprivilegedで走らせているため非常に危険なPodです。
1分以上したら 以下のコマンドでけしてあげてください

kubectl delete ds harbor-setup -n harbor-setup

手順としては以上です。

検証

HarborにあるこのイメージをTKCからダウンロードできるか試します。

1. ImagePullSecretをNamespaceごとに生成

面倒ですが、Harborの認証情報はNamespaceごとに作らないといけないです。
検証用のNamespaceを作ります。

kubectl create ns pulltest

そして、認証情報を登録します。

kubectl create -n pulltest secret docker-registry regsecret --docker-server=10.195.35.38 --docker-username=XXXXXXX --docker-password='XXXXXX'

XXXX には正しい情報をいれてください。
そして、それをdefaultサービスアカウントにパッチします。

kubectl patch sa default -n pulltest -p '"imagePullSecrets": [{"name": "regsecret" }]'

これで準備完了です。

2. 検証する

これでイメージを走らせてみます。

kubectl create deployment -n pulltest --image=10.195.35.38/common/nginx test

走っていることを確認します。

kubectl get po -n pulltest
NAME                   READY   STATUS    RESTARTS   AGE
test-ccf848d49-p42kc   1/1     Running   0          30s

ちゃんとイメージがPullされたことを確認します。

OKですね。成功です。

まとめ

TKCでHarborをつかうのも簡単にできます。