denseとかembeddingとかの違い
DeepLearningを学んでいる。
ネットワークの中間層で、DENSEとかEMBEDDINGとか、いったい何が違うのか？
っていう話。
語源
そもそも何の意味やねん？
DENSE 《物理》高密度の
EMBEDDING 埋め込み、包埋
違い
EMBEDDING 変数にカテゴリカルを埋め込むときに使う
- 入力サイズの縮小と計算の複雑さの軽減 → 学習時間の短縮
- 重みWは、単純なルックアップテーブル
- 欠点はバイアス、活性化関数のパラメータが不足
- one-hot encodingのみに使用
- 単語の埋め込みで広く利用 → Word2vec
DENSE
- 計算量が多いマトリクスの処理 → 処理が重たい
- 重みWは、重み行列として考慮する
まとめ
要するに自然言語処理のONE HOTを受けるときに、
最初に使われるネットワークだということ
Author And Source
この問題について(denseとかembeddingとかの違い), 我々は、より多くの情報をここで見つけました https://qiita.com/EasyCording/items/69b7e88255b21d15d944著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .