[TIL]Day 83

926 ワード
テキストリンク
Transformer

  • 推論段階理解self注意
  • "The animal didn't cross the street because it was too tired"
  • ここでitが指す単語は?
  • 単語の意味はコンテキストによって決定される.同じ言葉でも意味は文脈によって変わります.
  • 現在の単語の意味(imbeddingで表す)を周囲の単語の組合せ(重み付け和)
    • として表す.

  • 推論フェーズの理解-マルチヘッド注意
  • の複数の注意行列を反映する方法.
    • https://github.com/google-research/bert/blob/master/modeling.py
    上のattention layer関数を参照してください
    代数の意味
    代数は数字の代わりに文字を用いて方程式の解法や代数構造を研究する学問である.コードネーム
    BERT
    このモデルで解決すべき問題は何ですか.
  • transformer学習により,より少ないデータで良質なモデル(分類器など)
    • を学習する.
    >>> arr = ['토끼','말','늑대','오리','고양이','여우','곰']
>>> for i,v in enumerate(arr,start=1):
	print('number:{}, value:{}'.format(i,v))
    第1部第11章全ての悪の根源
    アルゴリズムハッシュ