gitlab-runnerディスク容量不足を一度記録

1720 ワード

gitlab-runnerを使用すると、よく問題が発生します.
故障現場
  • システム環境centos 7,docker下gitlab-runner
    npm WARN tar ENOSPC: no space left on device, write
    Unhandled rejection Error: ENOSPC: no space left on device, write
    npm ERR! cb() never called!
    
    npm ERR! This is an error with npm itself. Please report this error at:
    npm ERR!     
    
    npm ERR! A complete log of this run can be found in:
    npm ERR!     /root/.npm/_logs/2018-08-16T08_39_27_535Z-debug.log
    
  • チェックプロセス
  • gitlab-runnerサーバにログインし、ディスク使用率df -h
                                  %    
    /dev/sda2        48G   48G   0    100% /
    devtmpfs         63G     0   63G    0% /dev
    tmpfs            63G     0   63G    0% /dev/shm
    tmpfs            63G  2.8G   61G    5% /run
    tmpfs            63G     0   63G    0% /sys/fs/cgroup
    /dev/sda3       228G   19G  210G    9% /export
    /dev/sdb1        22T   13T  9.7T   56% /data
    tmpfs            13G     0   13G    0% /run/user/0
    
  • を表示します.
  • /dev/sda2容量が切れたので、自機dockerの記憶位置
    $ sudo docker info | grep "Docker Root Dir
    WARNING: You're not using the default seccomp profile
    WARNING: bridge-nf-call-iptables is disabled
    WARNING: bridge-nf-call-ip6tables is disabled
    Docker Root Dir: /var/lib/docker
    
  • を確認してください.
  • はやはり/dev/sda2という区画の下に
  • が存在する.
    ソリューション
    docker格納場所を/dev/sdb1にマウント
  • docker service docker stop
  • を無効にする
  • 移行ファイル
    mv /var/lib/docker /data/docker
    ln -s /data/docker /var/lib/docker
    
  • docker service docker start
  • 再起動
  • container
    $ docker ps -a
    $ docker start gitlab-runner
    
  • を再起動