✏️Multi-GPU

モデル並列(モデル並列)

型のボトルネック、パイプラインの困難などが原因で、これらはいずれも難易度の高い難題である.

データへいれつ

DistributedDataParallel

✏️Hyperparameter Tuning

最後の0.01の時に挑戦してみてください!
-> Acc ⬆, Loss ⬇

Hyperparameter Tuning Methods

は最近,ベージュスキームに基づく技術が主導している(BOHB-2018論文)

Hyperparameter Tuning Tool - Ray

🔗Image Reference

✏️Pytorch Troubleshooting

Out Of Memory(OOM)

GPUtilの使用

!pip install GPUtil

import GPUtil
GPUtil.showUtilization()

トレーニングサイクルにテンソル形式で蓄積された変数は確認する必要がある.

total_loss = 0
for i in range(10000):
    optimizer.zero_grad()
    output = model(input)
    loss = criterion(output, label)
    loss.backward()
    optimizer.step()
    total_loss += loss # should be float(loss) or loss.item() to make it tensor → float

delコマンドを正しく使用

# python의 메모리 배치 특성 상 loop이 끝나도 메모리를 차지
for x in range(10):
    i = x

print(i) # 9 is printed

実験可能なbatchサイズ

oom = False
try:
    run_model(batch_size) # 64 → 32 → ...
except: RuntimeError:
    oom = True

if oom:
    for _ in range(batch_size):
        run_model(1)

torch.No grad()の使用

それ以外は

毎週学習のまとめ

課題実行プロセス/成果整理

ピア・セッションのクリア

学習の回顧