概要

以前、

自己注意Self-Attention の解説でわかりやすいと思った記事N選　(まだ、N＝4）

という記事を書いた。
記事を書いた理由は、たぶん、ViTとかの仕組みを理解したいと思い、その入り口としてAttentionに着目し、
記事でも書けば、理解が促進されるんだろうなと
思ったのだろうと想像する。

しかし、結果として、いま、自己注意Self-Attentionが全く何も頭のなかにない。

今の頭の中の理解（多分、間違えているが。。。）を示し、その後、正しい答えを整えようと思う。

自己注意Self-Attentionとは（←いまの記憶というか理解。間違っている可能性大。）

まず、attentionとは

これは、文章等で、語句と語句の関係性の強さのようなものを表現するもので、ある語句Aは、別の語句B、C、D、、、、と各々、どの程度の関係性があるのかを示すもの
というイメージかと思う。

では、Self-付きのAttentionとは

可能性１

ここでのSelfがわからないが。。。。
このAttentionは、翻訳とかの世界で成果を出している技術なので、例えば、入力と出力の文章を同一とし、学習させること。
この同一状態をSelfを呼ぶ。
（たぶん、学習というような説明はなかった記憶があるので、これは、たぶん、違う。）

可能性２

AttentionとSelf-Attentionは、同じ、意味で、
文章の意味を語句とその語句の関係性で、いったん、表現しなおす、
すなわち、ある文章の自己(Self)の構造をAttentionで表現する作業。これで、文章が語句の羅列から意味のあるデータ構造にかわる。

少し発展させて翻訳とかの分野のAttentionの学習のさせ方（←いまの記憶というか理解。間違っている可能性大。）

　可能性１

上記のAttentionとしての構造の分析をともないつつ、
理想となる翻訳の対で学習する。

　可能性２

（こちらのほうが恰好がいいが、）翻訳の対で学習することはなく、個別の言語で言語を意味を学習しきる。
あとは、アウトプットする言語を選ぶのみとする。

疑問（←いまの記憶というか理解。間違っている可能性大。）

語句の関係性だけでは、そのそものコアとなる意味が発生しないと思うが、、、
それはなくてもいいのか？？
そこは、言語だけの範囲でやっている場合、空洞化するものかも。。。

★★正解作成中

一旦、正解を作成するのを休止します。
以下とかをカンニングしましたが、、、激烈に難しいですね。。。。
素人の手には負えません。現在の理解は、０点。(2021/1/6)
しばし。。。。
もう少し簡単なサブセットの課題をこなします。

自己注意Self-Attention の解説でわかりやすいと思った記事N選　(まだ、N＝4）

まとめ

余興のような記事です。ご容赦。
頭に全然入っていなということは、刺激のない情報だったのだろうと想像します。
もしくは、理解が深まらなくて結果として刺激のない解釈になったのか。
追って、正解を勉強して記載します。