Gitlab12 504エラー対応メモ（Prometheusのwalファイル圧迫）

2191 ワード
prometheus GitLab GitLab テキストリンク

概要

  • GitLabが接続できないとの報告を受ける
  • 504エラー
  • ざっと見たところファイルシステムフル状態
  • /var/opt/gitlab/prometheus/以下がかなり割合を占めている

詳細

  • 状態
# du -sh /var/opt/gitlab/prometheus/*
15G /var/opt/gitlab/prometheus/data
247M    /var/opt/gitlab/prometheus/data_tmp
8.0K    /var/opt/gitlab/prometheus/prometheus.yml
24K /var/opt/gitlab/prometheus/rules

# du -sh /var/opt/gitlab/prometheus/data/*
0   /var/opt/gitlab/prometheus/data/lock
20K /var/opt/gitlab/prometheus/data/queries.active
15G /var/opt/gitlab/prometheus/data/wal

# du -sh /var/opt/gitlab/prometheus/data/wal/*
52M /var/opt/gitlab/prometheus/data/wal/00001340
52M /var/opt/gitlab/prometheus/data/wal/00001341
52M /var/opt/gitlab/prometheus/data/wal/00001342
52M /var/opt/gitlab/prometheus/data/wal/00001343
52M /var/opt/gitlab/prometheus/data/wal/00001344
52M /var/opt/gitlab/prometheus/data/wal/00001345
:
:
53M /var/opt/gitlab/prometheus/data/wal/00001621
128M    /var/opt/gitlab/prometheus/data/wal/00001622
129M    /var/opt/gitlab/prometheus/data/wal/00001623
128M    /var/opt/gitlab/prometheus/data/wal/00001624
128M    /var/opt/gitlab/prometheus/data/wal/00001625
66M /var/opt/gitlab/prometheus/data/wal/00001626

対応

$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000013*
$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000014*

$ sudo reboot

結論

  • walファイルを削除して暫定対応
  • 削除して問題ないかは調査しきれていない、復旧・開発再開を最優先
  • walファイルを削除してもその後の動作には今の所影響なさそう
  • walファイルはシステムクラッシュ時の復旧に使用するファイルらしいのでバックアップさせしっかりとれていれば問題なさそう
  • 自動的にバックアップは取っている環境なのでwal削除を決定
  • チェックポイントで自動削除されるらしいが。。
  • 設定で自動削除を制御するなど根本対応できないか調査中
lucene、lucene.NETの詳細な使用と最適化の詳細
Yiiの日常操作ノート