CentOSのCPU・Memory・GPU使用率を測定する


背景

業務でCentOSをインストールしたGPUサーバの

  • CPU
  • Memory
  • Disk
  • GPU

の使用率を測定する必要があったので、その際に行った作業のメモを残す

CPU・Memory

  • sarコマンドのインストール
sarのインストール
sudo yum -y install sysstat
  • CPU・Memoryの使用率取得
CPU使用率
sar -P ALL 1 300 > cpu.out #1秒間隔で300回測定→5分測定
Memory使用率
sar -r 1 300 > mem.out #1秒間隔で300回測定→5分測定

ディスク容量 ※調べたいパス毎

duコマンドで1秒毎に300回測定を行う
for i in {1..300} ; do du -sh <ファイルパス>; sleep 1 ; done > disk.out

GPU使用率

以下をそれぞれ整形し、ファイルに出力するようにする

  • プロセッサ・メモリ
プロセッサ・メモリ

nvidia-smi -l 1 --query-gpu=timestamp,index,utilization.gpu,utilization.memory --format=csv,nounits
  • エンコーダ・デコーダ
encoder・decoder
nvidia-smi -q | grep -v Stats | grep -e Encoder -e Decoder | xargs -L 1 echo `date +'%Y/%m/%d %I:%M:%S',`