Gitlab12 504エラー対応メモ（Prometheusのwalファイル圧迫）
2191 ワード
概要
- GitLabが接続できないとの報告を受ける
- 504エラー
- ざっと見たところファイルシステムフル状態
- /var/opt/gitlab/prometheus/以下がかなり割合を占めている
詳細
- 状態
# du -sh /var/opt/gitlab/prometheus/*
15G /var/opt/gitlab/prometheus/data
247M /var/opt/gitlab/prometheus/data_tmp
8.0K /var/opt/gitlab/prometheus/prometheus.yml
24K /var/opt/gitlab/prometheus/rules
# du -sh /var/opt/gitlab/prometheus/data/*
0 /var/opt/gitlab/prometheus/data/lock
20K /var/opt/gitlab/prometheus/data/queries.active
15G /var/opt/gitlab/prometheus/data/wal
# du -sh /var/opt/gitlab/prometheus/data/wal/*
52M /var/opt/gitlab/prometheus/data/wal/00001340
52M /var/opt/gitlab/prometheus/data/wal/00001341
52M /var/opt/gitlab/prometheus/data/wal/00001342
52M /var/opt/gitlab/prometheus/data/wal/00001343
52M /var/opt/gitlab/prometheus/data/wal/00001344
52M /var/opt/gitlab/prometheus/data/wal/00001345
:
:
53M /var/opt/gitlab/prometheus/data/wal/00001621
128M /var/opt/gitlab/prometheus/data/wal/00001622
129M /var/opt/gitlab/prometheus/data/wal/00001623
128M /var/opt/gitlab/prometheus/data/wal/00001624
128M /var/opt/gitlab/prometheus/data/wal/00001625
66M /var/opt/gitlab/prometheus/data/wal/00001626
対応
- 当該ファイルを削除し念のためシステム再起動
- 参考イシュー
$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000013*
$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000014*
$ sudo reboot
結論
- walファイルを削除して暫定対応
- 削除して問題ないかは調査しきれていない、復旧・開発再開を最優先
- walファイルを削除してもその後の動作には今の所影響なさそう
- walファイルはシステムクラッシュ時の復旧に使用するファイルらしいのでバックアップさせしっかりとれていれば問題なさそう
- 自動的にバックアップは取っている環境なのでwal削除を決定
- チェックポイントで自動削除されるらしいが。。
- 設定で自動削除を制御するなど根本対応できないか調査中
- 状態
# du -sh /var/opt/gitlab/prometheus/*
15G /var/opt/gitlab/prometheus/data
247M /var/opt/gitlab/prometheus/data_tmp
8.0K /var/opt/gitlab/prometheus/prometheus.yml
24K /var/opt/gitlab/prometheus/rules
# du -sh /var/opt/gitlab/prometheus/data/*
0 /var/opt/gitlab/prometheus/data/lock
20K /var/opt/gitlab/prometheus/data/queries.active
15G /var/opt/gitlab/prometheus/data/wal
# du -sh /var/opt/gitlab/prometheus/data/wal/*
52M /var/opt/gitlab/prometheus/data/wal/00001340
52M /var/opt/gitlab/prometheus/data/wal/00001341
52M /var/opt/gitlab/prometheus/data/wal/00001342
52M /var/opt/gitlab/prometheus/data/wal/00001343
52M /var/opt/gitlab/prometheus/data/wal/00001344
52M /var/opt/gitlab/prometheus/data/wal/00001345
:
:
53M /var/opt/gitlab/prometheus/data/wal/00001621
128M /var/opt/gitlab/prometheus/data/wal/00001622
129M /var/opt/gitlab/prometheus/data/wal/00001623
128M /var/opt/gitlab/prometheus/data/wal/00001624
128M /var/opt/gitlab/prometheus/data/wal/00001625
66M /var/opt/gitlab/prometheus/data/wal/00001626
対応
- 当該ファイルを削除し念のためシステム再起動
- 参考イシュー
$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000013*
$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000014*
$ sudo reboot
結論
- walファイルを削除して暫定対応
- 削除して問題ないかは調査しきれていない、復旧・開発再開を最優先
- walファイルを削除してもその後の動作には今の所影響なさそう
- walファイルはシステムクラッシュ時の復旧に使用するファイルらしいのでバックアップさせしっかりとれていれば問題なさそう
- 自動的にバックアップは取っている環境なのでwal削除を決定
- チェックポイントで自動削除されるらしいが。。
- 設定で自動削除を制御するなど根本対応できないか調査中
Author And Source
この問題について(Gitlab12 504エラー対応メモ（Prometheusのwalファイル圧迫）), 我々は、より多くの情報をここで見つけました https://qiita.com/ezaqiita/items/a4475f7bd41889cf43a1著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .