アテンション機構についてのメモ
アテンション機構についてのメモ。
シンプルに試す
シンプルに試すには、softmaxによりアテンション層を計算して、入力層と要素積をとって、
merge([inputs, a_probs], name='attention_mul', mode='mul')
Denseにより活性化関数を掛けて、1として教師信号と比較、
という形で学習をする。
アテンション層の出力は
outputs = [layer.output for layer in model.layers if layer.name == layer_name]
という形で、層の名前で取れる。
kerasの作法
Denseについて
例)
model.add(Dense(20, input_dim=5))
次は活性化関数を入れてみよう。20個のノードそれぞれに対して5つの数値が入ってくるが、
その5つの数値の重み付け和(+バイアス)を適当にとって最後に関数をかける。そのときの関数が活性化関数である。
参考:https://qiita.com/Ishotihadus/items/c2f864c0cde3d17b7efb
Permuteについて
keras.layers.Permute(dims)
与えられたパターンにより入力の次元を入れ替える.
参考
▼参考:Keras : Luong Attentionは実装できたのか?(Teacher Forcingの話も少し)
https://qiita.com/HotAllure/items/50cf80cb1caf9c4d11fa
▼参考:【 self attention 】簡単に予測理由を可視化できる文書分類モデルを実装する
https://qiita.com/itok_msi/items/ad95425b6773985ef959
https://github.com/nn116003/self-attention-classification
▼【テキスト分類】Convolutional Neural NetworksにAttention機構を使ってみた。
https://qiita.com/omr001/items/bda375fa1938ff7c2596
https://github.com/omr001/cnn-sentiment-classification/tree/master
Author And Source
この問題について(アテンション機構についてのメモ), 我々は、より多くの情報をここで見つけました https://qiita.com/tkubotake/items/b1f27bd2fad619385c49著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .