言語処理100本ノック 2015 落ち穂拾い 第10章: ベクトル空間法 (II)


言語処理100本ノック2015
http://www.cl.ecei.tohoku.ac.jp/nlp100/
自分では全部まだできていない。次の資料を参考にさせていただいている。
素人の言語処理100本ノック:まとめ
https://qiita.com/segavvy/items/fb50ba8097d59475f760

環境構築

Dockerでpython言語処理100本ノック
https://qiita.com/taguchi_tomo/items/24483ceaea7638e83310
言語処理100本ノックをdockerで。
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4
Windows(MS)にPython(Anaconda)を導入する(6つの罠)
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679

play with docker

65歳からのプログラミング入門
https://qiita.com/kaizen_nagoya/items/1561f910c275b22d7c9f
Play with Docker でエラー
https://qiita.com/kaizen_nagoya/items/fbf054705bff725dbc25
65歳からのプログラミング入門(2) 二日目
https://qiita.com/kaizen_nagoya/items/57f362fb801fd3132803

第10章: ベクトル空間法 (II)

第10章では,前章に引き続き単語ベクトルの学習に取り組む.

81で作成したファイルを再利用

# cp ../chap09/corpus81.txt .

# vi countries

# vi dict_index_t

# vi matrix_x300

# vi vectors.txt

# wget https://github.com/svn2github/word2vec/blob/master/questions-words.txt

# mkdir wordsim353

# cd wordsim353

# wget http://www.cs.technion.ac.il/~gabr/resources/data/wordsim353/wordsim353.zip

# unzip wordsim353.zip

90. word2vecによる学習

素人の言語処理100本ノック:90
https://qiita.com/segavvy/items/890d34a40991dd634cdf

91. アナロジーデータの準備

素人の言語処理100本ノック:91
https://qiita.com/segavvy/items/be511b97bf3be49974a3

92. アナロジーデータへの適用

素人の言語処理100本ノック:92
https://qiita.com/segavvy/items/1d35a37c5d9faf9f636e

93. アナロジータスクの正解率の計算

素人の言語処理100本ノック:93
https://qiita.com/segavvy/items/f1939cabfc9f71e5aaa0

94. WordSimilarity-353での類似度計算

素人の言語処理100本ノック:94
https://qiita.com/segavvy/items/4c3295bf2c0321bea5e2

95. WordSimilarity-353での評価

素人の言語処理100本ノック:95
https://qiita.com/segavvy/items/6181994f5667ee1fbebf

96. 国名に関するベクトルの抽出

素人の言語処理100本ノック:96
https://qiita.com/segavvy/items/650c3e1254d8c5aef8e1

97. k-meansクラスタリング

素人の言語処理100本ノック:97
https://qiita.com/segavvy/items/e38710fed6c1cb8c5d2d

98. Ward法によるクラスタリング

素人の言語処理100本ノック:08
https://qiita.com/segavvy/items/5efe20750b643a2d49cb

99. t-SNEによる可視化

素人の言語処理100本ノック:99
https://qiita.com/segavvy/items/fe530927df30732e2a46

参考資料(reference)

言語処理100本ノック 2015(python) 動作確認docker環境構築
https://qiita.com/kaizen_nagoya/items/abaf3fd0198f9f557243
「Python 入門」の入門
https://qiita.com/kaizen_nagoya/items/22c99c5926984ede6573
Windows(MS)にPython(Anaconda)を導入する(6つの罠)
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679
なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
dockerで機械学習 with anaconda(1)「ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装」斎藤 康毅 著
https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
dockerで機械学習with anaconda(2)「ゼロから作るDeep Learning2自然言語処理編」斎藤 康毅 著
https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6
プログラミング言語教育のXYZ
https://qiita.com/kaizen_nagoya/items/1950c5810fb5c0b07be4

文書履歴(document history)

ver. 0.01 初稿 20190124 朝
ver. 0.02 追記 20190124 昼

使用機材

macOS HighSierra version 10.13.6
MacBook Pro (Retina, 13-ichi Mid 2014)
CPU 2.6GHz Intel Core i5
Mem. 16GB 1600MHz DDR3
Boot: Macintosh HD
Graphics: Intel Iris 1536MB