KerasにおけるLeaky ReLUなどの高級活性化関数の使い方
Kerasを使ってCNNなど一連のネットワークを実現する時、私達はよくReLUをアクティブ関数として使っています。
ソフトマックス:多分類でよく使われる活性化関数は、論理回帰に基づいている。
Softplus:ソフトプラス(x)=log(1+e^x)は、生体神経活性化関数に近いものです。
Relu:生体神経活性化関数に近い最近現れたものです。
tanh:双曲線タンジェント活性化関数もよく使われています。
sigmoid:S字型曲線活性化関数で、最も一般的です。
ハードボイルドsigmoid:S型活性化関数に基づいています。
linear:線形活性化関数で、一番簡単です。
主流の活性化関数は、上記の例のように名称によって直接使用されてもよいが、例えば、Leaky ReLU、PReLUはそのまま使用できない複雑な活性化関数があり、add方法を使用して高度な活性化関数をレイヤ(layer)として使用しなければならない。
>>model.summary()
ここでは、ネットワーク全体の構造の結果から、畳み込み層の後に新たな活性化層が確実に加わり、LeakyReLU関数を使用していることがわかる。
補足知識:Keras呼び出しleaky_relu
Kerasにleaky_がありますレルの実現。leaky_reluはレlu関数に統合された。
公式文書を参照:
https://tensorflow.google.cn/api_docs/python/tf/kers/backend/relu?hl=en
Agments
x
A tensor variable.
アルファ
A scalar、sleope of negative section(default=0.)
max_value
float.Saturation thress hold.
エスホルド
float.Thress hold value for threshed activation.
アルファ値は負の部分線形関数の勾配を制御する。アルファ=0が元のrelu関数です。alpha>0になるとleaky_となります。relu
ソースコードを確認して、Keras.backbendの中で、tenssor flow.python.ops庫nnの中のleakyを呼び出します。relu関数が実装されました。
from keras import layers
from keras import models
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
上記のコードは基本的な畳み込み神経ネットワークを実現し、ReLUを活性化関数として使用し、ReLUの詳細については説明しない。いくつかの一般的なアクティブ関数があります。ソフトマックス:多分類でよく使われる活性化関数は、論理回帰に基づいている。
Softplus:ソフトプラス(x)=log(1+e^x)は、生体神経活性化関数に近いものです。
Relu:生体神経活性化関数に近い最近現れたものです。
tanh:双曲線タンジェント活性化関数もよく使われています。
sigmoid:S字型曲線活性化関数で、最も一般的です。
ハードボイルドsigmoid:S型活性化関数に基づいています。
linear:線形活性化関数で、一番簡単です。
主流の活性化関数は、上記の例のように名称によって直接使用されてもよいが、例えば、Leaky ReLU、PReLUはそのまま使用できない複雑な活性化関数があり、add方法を使用して高度な活性化関数をレイヤ(layer)として使用しなければならない。
from keras import layers
from keras import models
from keras.layers import LeakyReLU
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), input_shape=(28, 28, 1)))
model.add(LeakyReLU(alpha=0.05))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3)))
model.add(LeakyReLU(alpha=0.05))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3))
model.add(LeakyReLU(alpha=0.05))
ここでは、畳み込み層の中から活性化関数のパラメータを除去し、畳み込み層の後に高度な活性化層を追加して、以下でテストします。>>model.summary()
ここでは、ネットワーク全体の構造の結果から、畳み込み層の後に新たな活性化層が確実に加わり、LeakyReLU関数を使用していることがわかる。
補足知識:Keras呼び出しleaky_relu
Kerasにleaky_がありますレルの実現。leaky_reluはレlu関数に統合された。
公式文書を参照:
https://tensorflow.google.cn/api_docs/python/tf/kers/backend/relu?hl=en
Agments
x
A tensor variable.
アルファ
A scalar、sleope of negative section(default=0.)
max_value
float.Saturation thress hold.
エスホルド
float.Thress hold value for threshed activation.
アルファ値は負の部分線形関数の勾配を制御する。アルファ=0が元のrelu関数です。alpha>0になるとleaky_となります。relu
ソースコードを確認して、Keras.backbendの中で、tenssor flow.python.ops庫nnの中のleakyを呼び出します。relu関数が実装されました。
def relu(x, alpha=0., max_value=None, threshold=0):
"""Rectified linear unit.
With default values, it returns element-wise `max(x, 0)`.
Otherwise, it follows:
`f(x) = max_value` for `x >= max_value`,
`f(x) = x` for `threshold <= x < max_value`,
`f(x) = alpha * (x - threshold)` otherwise.
Arguments:
x: A tensor or variable.
alpha: A scalar, slope of negative section (default=`0.`).
max_value: float. Saturation threshold.
threshold: float. Threshold value for thresholded activation.
Returns:
A tensor.
"""
if alpha != 0.:
if max_value is None and threshold == 0:
return nn.leaky_relu(x, alpha=alpha) ## leaky_relu
if threshold != 0:
negative_part = nn.relu(-x + threshold)
else:
negative_part = nn.relu(-x)
clip_max = max_value is not None
if threshold != 0:
# computes x for x > threshold else 0
x = x * math_ops.cast(math_ops.greater(x, threshold), floatx())
elif max_value == 6:
# if no threshold, then can use nn.relu6 native TF op for performance
x = nn.relu6(x)
clip_max = False
else:
x = nn.relu(x)
if clip_max:
max_value = _constant_to_tensor(max_value, x.dtype.base_dtype)
zero = _constant_to_tensor(0, x.dtype.base_dtype)
x = clip_ops.clip_by_value(x, zero, max_value)
if alpha != 0.:
alpha = _to_tensor(alpha, x.dtype.base_dtype)
x -= alpha * negative_part
return x
以上のKerasのLeaky ReLUなどの高機能機能機能の使い方は、小編集が皆さんに共有しているすべての内容です。参考にしていただければと思います。よろしくお願いします。