nvidia-smiでGPUのメモリ使用量を継続的に監視する


nvidia-smiでGPUのメモリ使用量を継続的に監視する

データセット訓練中に、CUDAのメモリが足りずにエラー
一体どこでそんなにGPUのメモリを食っているんだ!
nvidia-smiを連打する?

いいや、もっといい方法があるぞ

#0.5秒毎にnvidia-smiの情報を更新して表示する
watch -n 0.5 nvidia-smi

#上記+変更点をハイライト
watch -d -n 0.5 nvidia-smi

実行結果

では〜