クリップの知識#1

勉強中に探したことはありますが、簡単なので1ページのものを書くのは難しいです.

num_workers

GPUは、データのロード時に、指定された[num workers]数に基づいてサブプロセスを割り当て、最大需要

を実現する.

設定が多すぎると、物理コア数の制限によりオーバーヘッド

が発生する.

GPU環境規格[GPU数]x 4でいい~(Facebookはどこで書いたのか~)

Threedを使用しない理由は、Pythonが構造的に使用不可~

Weight initialization

結論)いずれもライブラリが自動的に完了します.

Weight Initializationは深い学習に重要です.

はいずれも0に設定すると学習効率が低下する.

最近のライブラリは、宣言時に適切に初期化されます.

どうしても

を指定しなければならない場合は、過去の習慣、所望の初期化分布などが原因で直接指定できます.

RAdam

既存のAdaptiverラーニングレート(

Adamを含む)のオプティカル(光学式)ドライブを使用すると、「Bad Local Optima収束の問題」

が発生します.

学習初期サンプルは非常に不足しており、適応学習率の分布は非常に大きいため、非最適局所最適化に早すぎる、学習現象はほとんど発生しない

.

従来のWarupイニシアチブ法を用いて学習率を直接変化させる(欠点はHyperパラメータを増加させること)

このタスクを自動的に完了したのはRADAM です.

公式を含めてもっと詳しく見たいなら、原文を使ってください。

matplotlib plot 'K.'

plt.plot(x_numpy,y_adam_numpy,'k.',ms=2,label='ADAM')

のグラフの色を変えたいのですが、上のコードでは「k.」の「.」です.

とは
「

kは色です」.linestyleを表す

線形グラフを点の

に点を付けます.

Hexコードを「カートリッジ」ex)「FFFFFFF」に置き換えます.

代替ソリューション

(以下に示す)

plt.plot(x_numpy,y_adam_numpy, color='#666666', marker='.', linestyle='none',ms=2,label='ADAM')

pytorch permute

軸変更

転座拡張版

回転座子(a,b)a,bは軸のインデックスであり、2つの軸を

に交換する.

転座子は2つの軸

しか交換できない.

permute(a, b, c, d, e ...) 各パラメータは軸のインデックスであり、現在の入力順序で軸

を置き換える.

x = torch.rand(16, 32, 3) # 0: 16, 1: 32, 2: 3
y = x.tranpose(0, 2)  # [3, 32, 16]
z = x.permute(2, 1, 0)  # [3, 32, 16]

cnnで使用するmaxpool

画像

を圧縮するための

カーネルサイズおよびステップサイズを指定する.

を使用してパラメータが多すぎることを防止

ルールには、最大プール、平均プールなどがあり、各フィルタは最大値のみを使用し、平均値は

である.