[Aiffel]Ipel 63第一概念の整理と回顧

1.概念整理

クリーンアップ用語

最大雨量推定

1）言語モデルの発展態勢

統計モデルニューラルネットワークモデルの限界または詳細1.次元の呪い最初の単語に対応できません頻度は高いが、意味のない単語の影響を受ける可能性が高い.Feed-Foward: CBOW2. Word2Vec3. RNN4. Seq2Seq

2) Seq2Seq

出現の原因:翻訳

モデル設計

適合:再構成が必要
カスタマイズが必要なため

が失われた

がダウンジャケット用のタグであることが示されていない場合、モデルは答えをに設定する確率がより高い:maskを使用して解決し、padタグの損失を回避する

漢英翻訳機

反復データ消去保持ペア:set,zip利用

Mecabは

実験室に設置されている:

!curl -s https://raw.githubusercontent.com/teddylee777/machine-learning/master/99-Misc/01-Colab/mecab-colab.sh | bash

(2022.01.22に記載の方法で、入力後2022.04.05で再実行).

3)注意の歴史

グラフィカル原理
Luong Attention
1. Seq2Seq
LSTMを使用したEncoder-Decoder構造
x - Encoder -> v(Representation Vector==Context vector) - Decoder -> y(Output sequence)

Attention
すべての語を同じ比重に圧縮するのではなく、重要な語の比重を性能を向上させることによって.
*各ステップのHidden State値を使用
改良点:Luong Attention

4) Transformer - Attention Is All You Need

連続性の排除:各語の相関性を注意力で求めることに集中する
-位置符号化:連続性による問題を解消し、文に連続性を提供する新しい方法

2.回顧

少し時間をかけて勉強しないでNLPに来たと思っていたが、今はepochを1時間回っている.何か変なことがあったようだが、今は振り返るのが遅い.ノード8を行う場合,時間が長すぎるため,ノード9を一緒に行った.ノード8でデータ数を制限しないと思っていたのですが、半分にもならず、幸いでした.そうでなければ、2日間回るかもしれません.ノード9を見て、今週末も復習だと思います.実は復習は習ったことを思い出すものですが、今は何も知らないので、復習ではなく、勉強するだけです.トランスフォーマーについてですが、その仕組みは理解できません.RNNからやり直すべきだと思いますが、2日以内にこんなにやるわけにはいきません.どうしてもしなければならない.一日中つかんでもやらなければならない.さもないと本当に本当ではないし、本当でもない.