概要

Pytorchで学習及び識別を行っていたところ、再起動を繰り返す謎の問題が発生した。この問題を解決すべく、あらゆる手を尽くし調査を行い、解決にまでこぎつけたので備忘録として残しておく。

前提

前提条件を記す。

マシン構成

・マザーボード: WS-X299 SAGE系
・CPU: i9-9920X

調査内容

突然と再起動を繰り返すため以下の調査を行った。

・Pytorchを実行すると急にPCが再起動を始める。(1回目は動作するが2回目は必ず落ちる等)
・CPU温度に異常なし $ watch -n 0.1 sensors
・CPU使用率及びファンの回転に異常なし $ top
・GPU使用率及び温度に異常なし $ nvidia-smi
・ジャーナルログに異常なし $ journalctl
・再起動ログに異常なし　$ last reboot
・GUI系に異常なし　$ less /var/log/xorg.0.log
・syslog系に異常なし　$ less /var/log/syslog
・message系(syslog)に異常なし　$ less /var/log/message
・kernel系に異常なし　$ less /var/log/kern.log
・kernel panic off $ kernel.panic = 0
・電源系変更 (物理)
・電圧系監視 (物理)
・消費電力監視 (物理)
・GPU配線変更 (物理)
・CUDA 9.x系～11.x系で発生
・Pytorchのバージョンも関係ないようである

どのログにも異常は見られなかった。
一体私が何をしたっていうんだ。

解決方法

解決法…それは「ターボモードをソフトウェア上でオフ」にする。

$ sudo su root
$ echo "1" > /sys/devices/system/cpu/intel_pstate/no_turbo

これにより、かなり発生頻度を下げることができる。なんじゃこれは…

原因

どうやら問題はX299ボード及びi9-9920Xの構成の際に、高負荷を掛けるとX299に搭載されたターボモード(Turbo Boost Max Technology 3.0)が働き、その不具合で落ちるそうである。なお、BIOSでターボモードを切っても意味がないという徹底ぶり。