前提

Dockerでコンテナを構築する場合、コンテナイメージを持っていない場合自動的にDocker Hub等からダウンロードする。
これはKubernetesでも同様で、動くワーカノード上でコンテナイメージを持っていなければ自動でダウンロードする。（デフォルト定義の場合）
なので、クローズ環境でKubernetesを動かしたい場合は事前にすべてのワーカノード上に動作させるコンテナイメージを事前にロードしておく必要がある。

docker load -i xxx.tar 

ワーカノードが1台とかそんな話であれば問題はないけど、Kubernetes構築する以上○台インストールはあり得る上、それぞれに○個のコンテナイメージロードとか面倒です。

というわけで、KubernetesにDocker Hub的なもの（正式名称：Registry）を立ててそこからアクセスさせようというのが今回の目的です。

環境

Ubuntu 18.04.4 LTS
Docker version 19.03.6, build 369ce74a3c
Kubernetes v1.18（Kubeadm v1.8で3台ノード構築済み）
Rook+Ceph v1.4　（永続ボリューム用）
Rook+Cephの構築については追々書きます。

Docker Registryについて

細かい話は公式に記載しているので、とりあえず置いておいて、DockerでDocker Registryを構築するだけなら次のコマンドで問題ありません。

docker run -d -p 5000:5000 -v /home/user0/registry:/var/lib/registry registry

これでdocker pull localhost:5000/httpd:latest のように使用することができる。
なお、コンテナにタグlocalhost:5000/xxxをつけておく必要がある。

しかし、これはlocalhostで接続する場合の話。
ドメイン（またはIPアドレス）で指定する場合、docker pull 192.168.200.5:5000/httpd:latestのように指定すれば解決かと思いきや、必ずHTTPS通信をするのでregistryコンテナに証明書を設定し起動する必要がある。
もし、registryコンテナ側に証明書の設定がないと次のようにエラーとなる。

マニュアルに証明書の設定方法が記載されているのでそれを参照に設定したところで、適当な証明書では通信してくれない。

めんどくさいことに、自己署名の証明書を入れてもダメ。

ちゃんとした証明書があれば次の章は解決しますが、試験環境など正規な証明書が準備できない場合は次の通り証明書を作成します。

Docker用の証明書を作る

　解決法としてはルート証明書をクライアント（Dockerのホスト側）にインストールし、ルート証明書で署名されたサーバ証明書をサーバ（registryコンテナ側）にインストールする方法をとります。
　ここではドメインの証明書なので、hostsファイルか（ローカルの）DNSでドメイン名が解決できるようにしておきます。

ルート証明書を作る

　ルート証明書の作り方はよく出てるのでコマンドだけ。なお、チャレンジパスワードは空欄でないとエラーになります。

openssl genrsa 2048 > ca.key
openssl req -new -key ca.key  > ca.csr
openssl x509 -days 365 -req -signkey ca.key < ca.csr > ca.crt

サーバ証明書を作る

　サーバ証明書を作る前に、opensslの作業ファイル等を作ります。

mkdir demoCA
cd demoCA
mkdir private crl certs newcerts 
echo "01" > serial
touch index.txt
cd ../

　（21.11.28追記）サーバ証明書にSANを追加するため、次のテキストファイルを作ります。

subjectAltName = DNS:*.example.local, IP:192.168.0.1

　それで、サーバ証明書を作成しルート証明書で署名します。　
　この時、サーバ証明書とルート証明書の項目に不一致があるとエラーが発生する項目があります。

openssl genrsa 2048 > server.key
openssl req -new -key server.key  > server.csr
openssl ca -days 365 -cert ca.crt -keyfile ca.key -in server.csr -extfile san.txt > server.crt

ルート証明書をDockerのホストに追加する

　この項目は、OSによって違うのでUbuntuの場合のみ記載します。
　ルート証明書を指定のディレクトリにコピーし、/etc/ca-certificates.confファイルに相対パスで追記します。（この場合はca.crtと追記）
　最後に再読み込みして完了です。

sudo cp ca.crt /usr/share/ca-certificates
sudo nano /etc/ca-certificates.conf 
sudo update-ca-certificates

KubernetesでDocker Registryを構築

　Kubernetesで構築する場合の説明。

事前準備

　・すべてのワーカノードのDockerにコンテナイメージ（registry）を入れておく
　・前章の通りサーバ証明書とルート証明書を作る
　・ルート証明書を全てのワーカノードに反映しておく

永続ボリュームの作成

　Registryのコンテナイメージの保存先（/var/lib/registry/）を作成します。
　Webサーバと同じ扱いで特にコンテナごとにPVを分ける必要性もないため、今回の永続ボリュームはrook+cephのファイルストレージで作成します。なお、NFSのPVでも支障はないと思います。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvcregistry
  labels:
    pvc: registry
spec:
  storageClassName: rook-ceph-fs
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 5Gi

　保存したら、kubernetesに読み込ませます。
kubectl apply -f pvc.yaml

サービスの作成

　この後Pod（Deployment）を作ったところで、IPアドレスを固定させないとめんどくさいことになるのでサービスで半固定のIPアドレスを発行させます。
　サービスでは、LoadBalancer、NodePort、ClusterIPの3種類が選べると思います。Kubernetesクラスタ外部にregistryを公開するのであればLoadBalancer型でいいと思いますが、今回はクラスタ内部だけに使えるregistryとして公開します。（＝ClusterIPとして構築）

apiVersion: v1
kind: Service
metadata:
  name: srvregistry
spec:
  ports:
  - name: http
    port: 443
    protocol: TCP
    targetPort: 443
  selector:
    app: registry
  type: ClusterIP

　保存したら、kubernetesに読み込ませます。
kubectl apply -f services.yaml
　
　次のコマンドでClusterIPを確認します。
kubectl get services

　Kubernetes内の全ノードでドメインがこのIPアドレスへ解決できるようにDNSまたはhostsファイルを設定します。

証明書の保存

　kubernetesのsecretにサーバ証明書を保存します。
　サーバ証明書ファイルが保存されているディレクトリで次のコマンドを実行します。
　kubectl create secret generic scregistry --from-file=server.crt --from-file=server.key
　

Deploymentの作成

　最後にregistryのコンテナを作成します。
　ポート番号が443になるように設定変更を行っています。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: depregistry
  labels:
    dep: registry
spec:
  replicas: 1
  selector:
    matchLabels:
      app: registry
  template:
    metadata:
      labels:
        app: registry
    spec:
      containers:
      - name: registry
        image: registry
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 443
        volumeMounts: 
        - name: vol
          mountPath: /var/lib/registry 
        - name: conf
          mountPath: /certs/
        env:
        - name: REGISTRY_HTTP_TLS_CERTIFICATE
          value: /certs/server.crt 
        - name: REGISTRY_HTTP_TLS_KEY
          value: /certs/server.key
        - name: REGISTRY_HTTP_ADDR
          value: 0.0.0.0:443
      volumes: 
      - name: vol
        persistentVolumeClaim: 
          claimName: pvcregistry
      - name: conf
        secret:
          secretName: scregistry

　保存したら、kubernetesに読み込ませます。
kubectl apply -f deployment.yaml

Registryを使ってみる

Dockerで使用する場合

　Dockerでpushやpullを使うときは、docker pull （ドメイン名）:（ポート番号）/（コンテナ名）のように定義します。（ただしポート番号が443の場合はポート番号を省略できます）
　なお、pushをする場合は事前に（ドメイン名）:（ポート番号）/（コンテナ名）というタグを定義する必要があります。

docker tag ubuntu www.example.co.jp/ubuntu
docker push www.example.co.jp/ubuntu
docker pull www.example.co.jp/ubuntu

Kubernetesで使用する場合

　Kubernetesで使用する場合は、yamlファイル内のimage: を（ドメイン名）:（ポート番号）/（コンテナ名）と定義します。
　前章のようにregistryを作成した場合（ドメイン名www.example.co.jp、ポート番号443）にPodを作る場合は次のようになります。

apiVersion: v1
kind: Pod
metadata:
  name: testpod
spec:
  containers:
  - name: test
    image: www.example.co.jp/httpd:latest
    ports:
    - containerPort: 80

なお、registryを立ち上げた直後はコンテナイメージがないため、Deployment等でイメージ展開する前に前章の通りコマンドを実行し、registry上にイメージをpushしておく。

（参考）そもそもKubernetesのDeploymentとして構築しない場合

　Docker本体でHTTPS通信対応registryを起動させる場合は、以下のコマンドで実行する。または、以下のコマンドを参照し、docker-compose経由で起動する。

docker run -d  \
-p 443:443 \
-v /home/user0/registry:/var/lib/registry  \
-v /home/user0/certs:/certs/ \
-e REGISTRY_HTTP_TLS_CERTIFICATE:/certs/server.crt  \
-e REGISTRY_HTTP_TLS_KEY:/certs/server.key \
-e REGISTRY_HTTP_ADDR:0.0.0.0:443 \
registry

参考文献

レジストリ・サーバのデプロイ — Docker-docs-ja 17.06 ドキュメント
Sanwa Systems Tech Blog | OpenSSLコマンドでオレオレ証明書を作り、ルート認証局としてサーバー証明書を発行する