GitLab の CI/CD で Docker in Docker

15692 ワード
dind Docker GitLab GitLab テキストリンク

GitLab の CI/CD の中で dockerコマンドを実行するには、いくつか方法があるが、今回やるのは Docker in Docker(Dindとよく呼ばれている)の構成である。
Docker in Docker は、.gitlab-ci.ymlに ↓ こう書くだけで実現できるが、Docker in Docker の仕組みを知らなければ何がどうなって、どう実行されているかチンプンカンプンである。

$ vim .gitlab-ci.yml
image: docker:18.09.7
services:
        - name: docker:18.09.7-dind
          alias: docker
default:
    script:
        - echo "hello"
        - docker run -itd --name tmp alpine:latest
        - docker run -itd --name tmp2 alpine:latest
        - docker container ls
    only:
        - master

ということで、これを頑張って解明していったため、そのプロセスを記事にしている。

Docker in Docker を作った環境

GitLab も GitLab Runner も EC2 の上に Docker コンテナとして立てている。

バージョンはこんな感じ。

  • GitLab Docker Image : gitlab/gitlab-ce:12.7.8-ce.0
  • GitLab Runner Docker Image : gitlab/gitlab-runner:ubuntu-v12.9.0

自明だが、EC2 上でlsしたらこんな感じ。


$ sudo docker container ls
CONTAINER ID        IMAGE                                 COMMAND                  CREATED             STATUS                    PORTS                                                                                     NAMES
7cf38ee9ab29        gitlab/gitlab-runner:ubuntu-v12.9.0   "/usr/bin/dumb-init …"   9 minutes ago       Up 9 minutes                                                                                                        gitlab-runner
2bf98a756bf8        gitlab/gitlab-ce:12.7.8-ce.0          "/assets/wrapper"        3 days ago          Up 33 minutes (healthy)   0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:4567->4567/tcp, 0.0.0.0:10022->22/tcp   gitlab

CI/CD が走り出すと、GitLab Runner Container が CI/CD 用のコンテナを作成していく。また、GitLab Runner Container はホスト(EC2)の/var/run/docker.sockをマウントしているため、CI/CD 用のコンテナは、GitLab Runner Container や GitLab Repository と同じレイヤーに作成される。

GitLab Runner の立ち上げコマンドと設定はこんな感じ。特筆すべき点としては、privileged = trueである(privilegedをtrueにすることでGitLab Runner が立ち上げる Docker コンテナは、特権モードになる。これをしておかないと Docker コンテナが Docker プロセスを作ることができない。)。

$ sudo docker run -d --name gitlab-runner --restart always \
-v /srv/gitlab-runner/config:/etc/gitlab-runner \
-v /var/run/docker.sock:/var/run/docker.sock \
gitlab/gitlab-runner:ubuntu-v12.9.0

$ sudo docker exec -it gitlab-runner vim /etc/gitlab-runner/config.toml
concurrent = 1
check_interval = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "7cf38ee9ab29"
  url = "http://ec2-13-231-128-*.ap-northeast-1.compute.amazonaws.com/"
  token = "VZExYHrr1ssjyoHUBEsM"
  executor = "docker"
  [runners.custom_build_dir]
  [runners.cache]
    [runners.cache.s3]
    [runners.cache.gcs]
  [runners.docker]
    tls_verify = false
    image = "docker:18.09.7"
    privileged = true ← 注目!!
    disable_entrypoint_overwrite = false
    oom_kill_disable = false
    disable_cache = false
    volumes = ["/cache"]
    shm_size = 0

このGitlab Runner の設定で、かつ、冒頭に書いた.gitlab-ci.ymlの CI/CD を走らせると CI/CD の中でdockerコマンドが実行できる。

GitLab のWeb画面から CI/CD の実行ログを見るとこんな感じ。長いので CI/CD のscriptの実行されているところをだけを抜粋している。CI/CD の中でdockerコマンドが実行され、コンテナが2つ作成されていることがわかる。大事なのは docker コマンドが実行できてるということ。

 $ echo "hello"
 hello
 $ docker run -itd --name tmp alpine:latest
 Unable to find image 'alpine:latest' locally
 latest: Pulling from library/alpine
 aad63a933944: Pulling fs layer
 aad63a933944: Verifying Checksum
 aad63a933944: Download complete
 aad63a933944: Pull complete
 Digest: sha256:b276d875eeed9c7d3f1cfa7edb06b22ed22b14219a7d67c52c56612330348239
 Status: Downloaded newer image for alpine:latest
 c8b4df07f0954ded608c061ee8efcc36028440357271dda05e77c4e11c1f5a81
 $ docker run -itd --name tmp2 alpine:latest
 ae2559d3af2512490c494ba85ca4d64dcd7f873c36b0dc26b8ff8d76d9d5c44d
 $ docker container ls
 CONTAINER ID        IMAGE               COMMAND             CREATED                  STATUS                  PORTS               NAMES
 ae2559d3af25        alpine:latest       "/bin/sh"           Less than a second ago   Up Less than a second                       tmp2
 c8b4df07f095        alpine:latest       "/bin/sh"           1 second ago             Up Less than a second                       tmp

CI/CD が走ったときのコンテナの構成図

関係ないGitLab Repository は省いている(本当はGitLab Runner Container の横にある)。

  • GitLab Runner Container : GitLab Runner
  • GitLab CI/CD Container(Docker Client) : 真ん中の Docker コンテナ。GitLab Runner によって立ち上げられる CI/CD のコンテナ
  • GitLab Dind Container(Docker Server) : 右の Docker コンテナ。同じくGitLab Runner によって立ち上げられるコンテナだが、CI/CD のコンテナではなく、.gitlab-ci.ymlに書いてある通りservicesとしてのコンテナ

バランスの問題で GitLab CI/CD Container(Docker Client) の上に Docker コンテナを3つ書いたが、さっきの.gitlab-ci.ymlでは、docker runを2回しているため、2つが正しい。

GitLab CI/CD Container(Docker Client) は、Docker Client として動作するため、Docker Image は、docker:18.09.7を使っている。docker:18.09.7のイメージは、Docker Daemon 以外の Docker の機能を持っている。GitLab Dind Container(Docker Server) は、Docker Server として動作するため、Docker Image は、docker:18.09.7-dindを使っている。docker:18.09.7-dindは、Docker Daemon を持っている。

冒頭の.gitlab-ci.ymlに書いていたscriptだと、docker runコマンドを要求しているのは、GitLab CI/CD Container(Docker Client) であり、実際にdocker runを実行しているのは Docker Daemon を持つGitLab Dind Container(Docker Server)になる。

素手で Docker in Docker を作る

GitLab には、.gitlab-ci.ymlに数行書けば、Docker in Docker の構成をとることができるが、意外と素手で作っていくと面倒である。理解を深めるためにもやってみる。GitLab Runner が CI/CD の中でやってくれていることを素手でやることになるため、作る部分としてはここ ↓。

Docker Client は、Docker Server に対して命令を出すが、Docker Server のエンドポイントはtcp://docker:2376にある。そのため、Docker Client は名前解決できないとエンドポイントに到達できないため、Docker Client と Docker Server は同一ネットワーク内にいる必要がある。ということでネットワークを作成。 

$ sudo docker network create some-network
$ sudo docker network inspect some-network

Docker Client と Docker Server 間の通信はSSLが推奨されており、SSLの場合は、tcp://docker:2376が使用される。SSLじゃない場合は、tcp://docker:2375となる。たしか、冒頭で設定したGitLab Runner はSSLじゃないが、せっかく素手でやるので、SSLで行こう。

Docker Server のコンテナを立ち上げると、立ち上げコマンドの中にSSLをするための証明書や公開鍵を自動で生成してくれる。docker:18.09.7-dindのソースコードを見ればわかる(github)。
Docker Server が作成した公開鍵やらは、Docker Client 側に渡してあげる必要があるため、ホストにマウントしてあげる(ここで言うホストはEC2のこと)。後で Docker Client も同じところをマウントして、公開鍵を渡す。 

$ mkdir certs
/home/ec2-user/certs
$ mkdir ca
/home/ec2-user/certs/ca
$ mkdir client
/home/ec2-user/certs/client

Docker Server を立ち上げる。

$ sudo docker run --privileged --name some-docker -d \
    --network some-network --network-alias docker \
    -e DOCKER_TLS_CERTDIR=/certs \
    -v /home/ec2-user/certs/ca:/certs/ca \
    -v /home/ec2-user/certs/client:/certs/client \
    docker:18.09.7-dind

Docker Client にも立ち上がってもらい、dockerのversionを確認する。docker versionコマンドの実行と同義。 

$ sudo docker run --rm --network some-network \
    -e DOCKER_TLS_CERTDIR=/certs \
    -v /home/ec2-user/certs/client:/certs/client:ro \
    docker:18.09.7 version

Client: Docker Engine - Community
 Version:           19.03.8
 API version:       1.40
 Go version:        go1.12.17
 Git commit:        afacb8b7f0
 Built:             Wed Mar 11 01:22:56 2020
 OS/Arch:           linux/amd64
 Experimental:      false

Server: Docker Engine - Community
 Engine:
  Version:          19.03.8
  API version:      1.40 (minimum version 1.12)
  Go version:       go1.12.17
  Git commit:       afacb8b7f0
  Built:            Wed Mar 11 01:30:32 2020
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          v1.2.13
  GitCommit:        7ad184331fa3e55e52b890ea95e65ba581ae3429
 runc:
  Version:          1.0.0-rc10
  GitCommit:        dc9208a3303feef5b3839f4323d9beb36df0a9dd
 docker-init:
  Version:          0.18.0
  GitCommit:        fec3683

実際に実行したときは Docker Image のバージョンを指定せずに、lastetで言ったため、表示されているバージョンと実行コマンドのバージョンに差異があることは許してほしい。

Serverのバージョンが出てきているということは、問題なく Docker Server 側の Docker Daemon に命令を出すことができている、ということになる。もし、 Docker Daemon に到達できなければ、いつものこいつが出てくるはず。

Server:
ERROR: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

これで Client からdockerコマンドの実行が可能になったため、Client の中で好きに Docker コンテナを作成し、Docker in Docker を楽しむことができる。

$ sudo docker run -it --rm --network some-network \
    -e DOCKER_TLS_CERTDIR=/certs \
    -v /home/ec2-user/certs/client:/certs/client:ro \
    docker:latest sh
$ sudo docker run -it --rm --name tmp-docker alpine:latest sh
$ sudo docker container ls

おまけ

Docker Server として使っているdocker:18.09.7-dind は、Docker Daemon を持っているため、わざわざ Docker Client と Docker Server にコンテナを分けずに、docker:18.09.7-dind のイメージを使うだけで CI/CD の中でdockerコマンドを使うことができる,
と StackOverFlowで回答している人がいるし、実際にできた。

image: docker:dind

test:
    script:
      - dockerd &
      - sleep 5
      - docker run hello-world

https://stackoverflow.com/questions/47280922/role-of-docker-in-docker-dind-service-in-gitlab-ci
https://gitlab.com/saraedum/sandbox/blob/dind/.gitlab-ci.yml

まとめ

Docker Server は、Docker Daemon とか Dockerd と書いたほうが適切かもしれない。ので、各自脳内変換して読み進めてほしい。
Docker は難しい。以上終わり!

参考