overfitting

モデルを学習する際,学習が適切であることを防止し,その性能を向上させるために多様な方法を用いた.また、条件に基づいてデータをスケールしたり、学習プロセスを変更したりすることもできます.このうち、よく使われる方法は大きく2つに分けられます.

batch normalization

batch normalizationは、layerの演算結果を次の入力に送信する前に平均0、標準偏差1に標準化するために使用される.各層のネットワーク入力の分布はそれぞれ異なり,ある程度協力し,学習が片側に偏ることを防止できる.次のコードのように,非線形関数を実行する前,演算するlayerに位置し,演算の結果を所望の分布として表示する.

keras.Sequential([
    # ...
	model.add(Conv2D(filters = 50, ... ))
    model.add(BatchNormalization())
    model.add(Activation('relu'))
    # ...
])

regularization

上記のスケーリング学習結果の概念とは異なり,学習における重み自体を制約する方法である.cs 231 nは学習が罰せられると説明し、これは良い表現だと思います.退学を例にとると分かりやすいようで、Keggleの退学を可視化して適用するコードがもたらされた.

https://www.kaggle.com/code/ryanholbrook/dropout-and-batch-normalization/tutorial

keras.Sequential([
    # ...
	model.add(Flatten())
    model.add(Dense(50, activation = 'relu', ... ))
    model.add(Dropout(0.5)) # apply 50% dropout to next layer
    # ...
])

非線形関数の和を求める過程で,パケット損失層を加えることによってネットワークの一部を省略し計算する方法がパケット損失である.ここでrate=0.5なので、半分の確率でこれらの値がsumであることがわかります.これにより、ランダムに選択されたネットワークは学習に影響を与えません.
学習が適切であることを防止する.また、各ネットワークの相互への影響は減少するため、より良い特性を得ることができる.
それ以外にも,l 1,l 2はいずれも正規化の一手と考えられる.上は既に区別されていますが.
最終的な目的は、勉強しすぎないように、よりよく勉強することです.今やるべきことは.
これらの方法を適切な場所に運用する.