Section1 再帰型ニューラルネットワークの概念

RNN の全体像

RNN とは

時系列データに対応可能なニューラルネットワーク

時系列データ

時間的順序を追って一定間隔ごとに観察され，しかも相互に統計的依存関係が認められるようなデータの系列

• 音声データ
• テキストデータ
• 株価データ

RNN について

順伝播において、前の中間層の計算結果を重みとバイアスで処理をした上で、中間層への入力の一部とする。
時系列モデルを扱うには、初期の状態と過去の時間 t-1 の状態を保持し、そこから次の時間での t を再帰的に求める再帰構造が必要になる。

BPTT

BPTT とは

Backpropagation Through Time
誤差逆伝播法の一種
RNN におけるパラメータ調整方法
誤差逆伝播法を時系列の流れを含めて実施する形
長期間の利用には計算量が大きくなり不向きである

BPTT の数学的記法

$\frac{\partial E}{\partial W_{(in)}} = \frac{\partial E}{\partial u^t} \big[ \frac{\partial u^t}{\partial W_{(in)}} \big]^T = \delta ^t[x^t]^T$

np.dot(X.T, delta[:,t].reshape(1,-1))

$ \frac{\partial E }{\partial W*{in}} = \frac{ \partial E}{ \partial v^t} \big[ \frac{ \partial u^t}{ \partial W*{(out)}}\big] ^t = \delta ^{out,t} [ z^t] ^T$

np.dot(z[:,t+1].reshape(-1,1), delta_out[:,t].reshape(-1,1))

$\frac{ \partial E }{\partial W} = \frac{\partial E}{\partial u^t} \big[ \frac {\partial u^t}{\partial W} \big] ^t = \delta ^t [z^{t-1}]^T$

np.dot(z[:,t].reshape(-1,1), delta[:,t].reshape(1,-1))

$ \frac{ \partial E}{ \partial u^t} = \frac{\partial E}{ \partial v^t} \frac{\partial v^t}{\partial i^t} = f'(u^t)W_{out}^T \delta^{out,t} = \delta ^t$

delta[:,t] = (np.dot(delta[:,t+1].T, W.T) + np.dot(delta_out[:,t].T, W_out.T)) * functions.d_sigmoid(u[:,t+1])

パラメータの更新

$ W*{(in)}^{t+1} = W*{(in)}^t - \epsilon \frac {\partial E}{ \partial W*{(in)}} = W*{(in)}^t - \epsilon \sum_{z=0}^{T_t} \delta ^{t-z} \big[ x^{t-z} \big] ^T$

W_in -= learning_rate * W_in_grad

$ W*{(out)}^{t+1} = W*{(out)}^t - \epsilon \frac {\partial E}{ \partial W*{(out)}} = W*{(out)}^t - \epsilon \delta ^{out,t} \big[ z^t \big] ^T$

W_out -= learning_rate * W_out_grad

$ W^{t+1} = W^t - \frac{\partial E}{ \partial W} = W*{(in)}^t - \epsilon \sum*{z=0}^{T_t} \delta ^{t-z} \big[ x^{t-z-1} \big] $

W -= learning_rate * W_grad

BPTT の全体像

E^t = loss(y^t,d^t) \\
= loss(g(w_{(out)}z^t + c),d^t) \\
= loss(g(W_{(out)}f(W_{(in)}x^t + Wz^{t-1} + b)+c),d^t)

Section2 LSTM

RNN の課題
時系列を遡れば遡るほど、勾配が消失していく → 長い時系列の学習が困難

解決策
構造を変えることでその問題を解決したものを LSTM と呼ぶ

LSTM の全体像

CEC

勾配消失および勾配爆発の解決方法として、勾配が 1 であれば解決できる

課題
入力データについて、時間依存度に関係なく重みが一律である
→ ニューラルネットワークの学習特性がそもそも失われてしまう

解決策
入力ゲートと出力ゲート

入力ゲートと出力ゲート

入力ゲートと出力ゲートを追加することで
それぞれのゲートへの入力値の重みを重み行列 W,U で可変可能とする
→CEC の問題を解決

入力ゲート

出力ゲート

現状
すべての過去の情報をすべての情報が保管される

課題
過去の情報がいらなくなった場合削除できない
常に過去の情報に引っ張られている

解決策
忘却ゲート

忘却ゲート

不要になった CEC の情報を削除するためのゲート

課題
CEC の保存されている過去の情報を、任意のタイミングで他のノードに伝播させたり、あるいは任意のタイミングで忘却させたい。CEC 自身の値は、ゲート制御に影響を与えていない。

解決策
のぞき穴結合

除き穴結合

CEC 自身の値に、重み行列を介して伝播可能にした構造。

GRU

LSTM では、パラメータが多く計算負荷が高くなる問題があった
→GRU

GRU ではそのパラメータが削減されていることが画像からわかる

Section4 双方向 RNN

時系列データにおいて、過去の情報だけでなく、未来の情報も使用する

Section5 Seq2Seq

Encoder-Decoder モデルの一種
機械翻訳や対話のためのモデルとして利用される。

Encoder RNN

ユーザーがインプットしたテキストデータを、単語等のトークンに区切って渡す構造。
Taking：形態素解析などで文章を単語などのトークンに分解し、トークンごとの ID に変換する
Embedding：ID をもとに、分散表現ベクトルに変換
Encoder RNN：ベクトルを順番に RNN に入力しておく
vec1 を RNN に入力し、hidden state を出力。これと次の入力 vec2 をまた RNN に入力...という風に繰り返す
最後の vec を入れた時の hidden state を final state としてとっておく。これが入力した分の意味を表すベクトルとなる

Decoder RNN

システムがアウトプットデータを、単語等のトークンごとに生成する構造。
1.Decoder RNN: Encoder RNN の final state (thought vector) から、各 token の生成確率を出力 final state を Decoder RNN の initial state ととして設定し、Embedding を入力
2.Sampling: 生成確率にもとづいて token をランダムに選択
3.Embedding: token を Embedding して Decoder RNN への次の入力とする
4.Detokenize: 1-3 を繰り返し、2 で得られた token を文字列に直す。

HRED

seq2seq は一問一答しかできない
→ 問に対して文脈も何もなく、ただ応答が行われる続ける
解決策として →HRED

HRED とは
過去の n−1 個の発話から次の発話を生成
より人間らしい応答
Seq2Seq + Context RNN（Context RNN: これまでの会話コンテキストをベクトルに変換する構造。）

HERD の課題
会話の流れの多様性がない
短いよくある答えを学ぶ傾向がある

VHRED

HREAD に、VAE の潜在変数の概念を追加して HREAD の課題の解決を解決したもの

VAE

オートエンコーダー

教師なし学習の一つ。
教師データは利用しない。
入力データから潜在変数 z に変換するネットワーク が Encoder
潜在変数 z をインプットとして元画像を復元するニューラルネットワークが Decoder

メリット
次元削減を行うことができる。

VAE

通常のオートエンコーダーの場合は潜在変数 z にデータを押し込めているものの、その構造がどのような状態かわからない。

VAE の場合は潜在変数 z に確率分布 z∼N(0,1)を仮定したもの
データを潜在変数 z の確率分布という構造に押し込めることを可能にする

Section6 Word2Vec

RNN の課題

単語のような可変長の文字列を NN に与えることはできない
→ 固定長でしか学習できない

解決策

Word2Vec

Word2vec

可変長の文字列を固定長の形式に変換するためもの。
学習データからボキャブラリを作成
ボキャブラリを次元として、入力データを one-hot-vector を作成する → 分散表現

メリット

大規模データの分散表現の学習が、現実的な計算速度とメモリ量で実現可能にした。

今までは、「ボキャブラリ × ボキャブラリ」だけの重み行列が誕生
Word2vec は「ボキャブラリ × 任意の単語ベクトル次元」で重み行列が誕生。

Section7 AttentionMechanism

seq2seq の課題

長い文章への対応が難しい。
文章が長くなるほど、入力の内部表現の次元も大きくなっていく。

解決策

「入力と出力のどの単語が関連しているのか」を学習する
→Attention Mechanism

確認テスト

サイズ 5×5 の入力画像を、サイズ 3×3 のフィルタで 畳み込んだ時の出力画像のサイズを答えよ。 なおストライドは 2、パディングは 1 とする。

解答

3×3

RNN のネットワークには大きくわけて 3 つの重みがある。1 つは入力から現在の中間層を定義する際にかけられる重み、1 つは中間層から出力を定義する際にかけられる重みである。 残り 1 つの重みについて説明せよ。

解答

中間層から次の中間層に対する重み

連鎖律の原理を使い、dz/dx を求めよ。

$ z=t^2$

$t=x+y$

解答

$ dz/dt = 2t$

$\frac{dt}{dx} = \frac{dz}{dt} \frac{dt}{dx} = 2t *1 = 2(x+y)$

下図を y1 を数式で表せ

$x・s_0：s_1・w_{in}・w・w_{out}$を用いる

※バイアスは任意の文字で定義せよ
※中間層の出力にシグモイド関数 g(x)を作用させよ。

解答

$ z*1 = sigmoid(S_0 w + x_1 w*{(in)} + b)$

$ y*1= sigmoid(z_1 W*{(out)} + c)$

シグモイド関数を微分した時、入力値が 0 の時に最大値 をとる。その値として正しいものを選択肢から選べ。

（1）0.15 （2）0.25 （3）0.35 （4）0.45

解答

(2)

以下の文章を LSTM に入力し空欄に当てはまる単語を予測したいとする。 文中の「とても」という言葉は空欄の予測において なくなっても影響を及ぼさないと考えられる。 このような場合、どのゲートが作用すると考えられるか。

「映画おもしろかったね。ところで、とてもお腹が空いたから何か__。」

解答

忘却ゲート

LSTM と CEC が抱える課題について、それぞれ簡潔に述べよ。

解答

LSTM

パラメータ数が多く、計算負荷がかかる。

CEC

勾配が 1 で渡され続け重みがなくなる
学習という概念が損なわれる

LSTM と GRU の違いを簡潔に述べよ。

解答

GRU よりも、LSTM のほうパラメータ数が多い

下記の選択肢から、seq2seq について説明しているものを選べ。

（1）時刻に関して順方向と逆方向の RNN を構成し、それら 2 つの中間層表現を特徴量として利用 するものである。

（2）RNN を用いた Encoder-Decoder モデルの一種であり、機械翻訳などのモデルに使われる。

（3）構文木などの木構造に対して、隣接単語から表現ベクトル（フレーズ）を作るという演算を再 帰的に行い（重みは共通）、文全体の表現ベクトルを得るニューラルネットワークである。

（4）RNN の一種であり、単純な RNN において問題となる勾配消失問題を CEC とゲートの概念を 導入することで解決したものである。

解答

(2)

(1)双方向 RNN
(2)seq2seq
(3)RNN
(4)LSTM

seq2seq と HRED、HRED と VHRED の違いを簡潔に述べよ。

解答

ses2seq

一問一答しかできない

HRED

文脈に即して回答ができる

VHRED

文脈に即して回答ができて、多様がある回答ができる

VAE に関する下記の説明文中の空欄に当てはまる言葉を答えよ。

自己符号化器の潜 在変数に____を導入したもの。

解答

確率分布

RNN と word2vec、seq2seq と Attention の違いを簡潔に述べよ。

解答

RNN と word2vec

RNN と比較して word2vec は現実的なリソース量で計算できるようになった

seq2se1 と seq2se1+Attention

seq2se1 は固定長のものしか学習できなかったものに対し
seq2se1+Attention は長い文章の翻訳が成り立つ

演習結果

考察

simple_RNN 中間層のノード数を 64 あたりが精度がよくなる。
学習率を大きくすると勾配爆発が起きる
シグモイド関数を ReLU 関数に変更すると、勾配爆発が発生し、全く学習が進まない
tanh に変更すると学習が進まない
隠れ層を多くすると精度は向上するが、学習の初期は誤差が大きい、
重みを大きくすると学習の初期は誤差が少ないが、そこから勾配爆発してしまう
既存の問題がありそれを解決するために新しいモデルが作られていき学習の精度が高まっていっている