Tensorflow > link > Gentlest Introduction to Tensorflow Part 2 > Stochastic/Mini-batch/Batch Gradient Descent

SoonHin Khorさんによる関数近似のTensorflow Tutorial。

Gentlest Introduction to Tensorflow: Part 2
https://www.youtube.com/watch?v=Trc52FvMLEg&list=PL_MJualihC5A3REXN1CnuIlImC_o9YqnH&index=34

14:00頃から3つのGradient Descentについて説明。

• Stochastic Gradient Descent
• Mini-batch Gradient Descent
• Batch Gradient Descent

Stochasticは対語に「Deterministic」という用語がある。
Deterministicは「決定論的」。１００回、同じ条件で実行すると１００個の同じ結果を得る。
Stochasticは「確率論的」。１００回、同じ条件で実行しても１００個が同じ結果とは限らない。
Geometrical opticsなどのraytracingコーディングを試行した時に出てきた。raytracingのコードはもう忘却の彼方であるが。

以下の３つの違いはビデオを見ると正確だが以下の感じ（間違っているかもしれない)

• Stochastic Gradient Descent
  • ランダムに選択したデータで学習
• Mini-batch Gradient Descent
  • ある範囲のデータ(Mini-batch)で学習
  • 入力と出力の位置により異なるMini-batchを使う
• Batch Gradient Descent
  • すべてのデータ(Batch)で学習