ReLUのパラメータinplace=True

次のサンプリングでは、ReLU(inplace=True)をよく使用します.具体的な意味は次のとおりです.

import torch
from torch import nn as nn
m = nn.ReLU(inplace=True)
input = torch.randn(10)
print(input)
output = m(input)
print(output)
print(input)

tensor([-0.0652,  0.0622,  0.0466, -0.0300, -0.6344, -0.9284, -1.2392,  1.7463,
         0.7938, -0.8787])
tensor([0.0000, 0.0622, 0.0466, 0.0000, 0.0000, 0.0000, 0.0000, 1.7463, 0.7938,
        0.0000])
tensor([0.0000, 0.0622, 0.0466, 0.0000, 0.0000, 0.0000, 0.0000, 1.7463, 0.7938,
        0.0000])

inplace=Trueの場合、入力データが変更されます.inplace=Falseの場合、入力データは変更されません

アクティブ化関数は、ReLU()が0より小さい値を0に、0より大きい値を保存していることを知っています.