Deep Neural Networks構成

Deep NEural Network
Layer

入力層
:ネットワーク入力部、学習したいx値

出力層(出力層)
:ネットワークの出力部、予測値、すなわちy値

非表示レイヤ
:中間層(入力層と出力層を除く)

入力層と出力層は問題ごとに規定されているので、非表示層に注意してください.

非表示レイヤは、完全接続レイヤからなる.

基本的なネットワーク(Deep Nueral Networks)では、通常、非表示レイヤで中間部分を拡大します.
一般的には、以下のノード数が徐々に増加し、徐々に減少する方法で構成されています.

ㅁ 입력층의 노드 개수 4개
ㅁ 첫 번째 은닉층 노드 개수 8개
ㅁ 두 번째 은닉층 노드 개수 16개
ㅁ 세 번째 은닉층 노드 개수 8개
ㅁ 출력층의 노드 개수 3개

アクティブ化関数はどこに置くかが重要です.通常、すべての非表示レイヤの後ろにあります.

ネットワークの幅と深さ
Baselineモデル(ベースラインモデル)
:適切な演算量、適切な精度を有する深さ学習モデルを指す.
例)

ㅁ 입력층 : 4개
ㅁ 첫 번째 은닉층 : 8개
ㅁ 두 번째 은닉층 : 4개
ㅁ ㅁ출력층 : 1개

対応するベースラインモデルを用いて種々の実験(調整)を行う.
最も簡単な性能をテストする方法は、モデルの幅と深さをテストすることです.

ネットワーク幅を増加する方法

은닉층의 너비를 그대로 두고, 은닉층의 노드 개수를 늘리는 방법

ㅁ 입력층 : 4개
ㅁ 첫 번째 은닉층 : 8개 ➡️ 16개
ㅁ 두 번째 은닉층 : 4개 ➡️ 8개
ㅁ 출력층 : 1개 

ネットワーク深度を増加する方法

은닉층의 개수를 늘리는 방법

ㅁ 입력층 : 4개
ㅁ 첫 번째 은닉층 : 4개
ㅁ 두 번째 은닉층 : 8개
ㅁ 세 번째 은닉층 : 8개
ㅁ 네 번째 은닉층 : 4개
ㅁ 출력층 : 1개 

の幅と深さを増やす方法

ㅁ 입력층 : 4개
ㅁ 첫 번째 은닉층 : 4개 ➡️ 8개
ㅁ 두 번째 은닉층 : 8개 ➡️ 16개
ㅁ 세 번째 은닉층 : 8개 ➡️ 16개
ㅁ 네 번째 은닉층 : 4개 ➡️ 8개
ㅁ 출력층 : 1개 

幅と深さを変えて実験を行うことは,過フィッティングと過小フィッティングを回避するために必要な方法である.