【NLP入門】環境構築から簡単な類似度計算まで♪

sudo apt install python3

$ brew install mecab
$ brew install mecab-ipadic

$ sudo apt update
$ sudo apt upgrade

$ brew install mecab
プログラム 'brew' はまだインストールされていません。 次のように入力することでインストールできます:
sudo apt install linuxbrew-wrapper

$ sudo apt install linuxbrew-wrapper

$ brew install mecab
========================================================================
You may want to update following environments after installed linuxbrew.

  PATH, MANPATH, INFOPATH

(example: /usr/share/doc/linuxbrew-wrapper/examples/profile)
========================================================================
==> This script will install:
/home/ubuntu/.linuxbrew/bin/brew
/home/ubuntu/.linuxbrew/Library/...
/home/ubuntu/.linuxbrew/share/man/man1/brew.1

Press RETURN to continue or any other key to abort
...
==> Downloading and installing Homebrew...
...
HEAD is now at 5320403 Troubleshooting.md: update link
Warning: /home/ubuntu/.linuxbrew/bin is not in your PATH.
==> Installation successful!
==> Next steps
Install the Linuxbrew dependencies:
Debian, Ubuntu, etc.:
  `sudo apt-get install build-essential`

$ sudo apt-get install build-essential
build-essential はすでに最新バージョン (12.1ubuntu2) です。

$  brew install mecab-ipadic
Error: cannot load such file -- os/linux/glibc
Please report this bug:
    https://github.com/Linuxbrew/linuxbrew/blob/master/share/doc/homebrew/Troubleshooting.md#troubleshooting

$ brew install swig
Error: cannot load such file -- os/linux/glibc
Please report this bug:
    https://github.com/Linuxbrew/linuxbrew/blob/master/share/doc/homebrew/Troubleshooting.md#troubleshooting

$ pip3 install ipykernel
Successfully installed backcall-0.1.0 decorator-4.4.0 ipykernel-5.1.2 ipython-7.8.0 ipython-genutils-0.2.0 jedi-0.15.1 j
upyter-client-5.3.1 jupyter-core-4.5.0 parso-0.5.1 pexpect-4.7.0 pickleshare-0.7.5 prompt-toolkit-2.0.9 ptyprocess-0.6.0
 pygments-2.4.2 python-dateutil-2.8.0 pyzmq-18.1.0 setuptools-41.2.0 six-1.12.0 tornado-6.0.3 traitlets-4.3.2 wcwidth-0.
1.7

$ pip install mecab-python3
Collecting mecab-python3
  Downloading https://files.pythonhosted.org/packages/40/e9/b6ba6580537a5261f615537f02a2a5be43652a653196e0e2d165934ac1af/mecab_python3-0.996.2-cp27-cp27mu-manylinux1_x86_64.whl (15.8MB)
    100% |████████████████████████████████| 15.9MB 120kB/s
Installing collected packages: mecab-python3
Successfully installed mecab-python3-0.996.2

$ pip3 install mecab-python3
Successfully installed mecab-python3-0.996.2

$ sudo apt install make automake autoconf autotools-dev m4 mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file

$ sudo sed -i -e 's%/lib/mecab/dic%/share/mecab/dic%' /usr/bin/mecab-config

$ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git

mecab-ipadic-NEologd のインストールと更新
Step.1
$ cd mecab-ipadic-neologd
Step.2
以下のコマンドを実行して結果を確認する画面で「yes」と入力すると、sudo 権限で最新版がインストール(初回実行時以降は更新)されます。
$ ./bin/install-mecab-ipadic-neologd -n

以下のコマンドを実行すると辞書のディレクトリが確認できます。
$ echo `mecab-config --dicdir`"/mecab-ipadic-neologd"

全部入りな mecab-ipadic-NEologd を簡単にインストールする方法
標準インストールでは一部の辞書ファイルがインストールされません。
-a オプションを指定すると全部入り状態でインストールできます。
$ ./bin/install-mecab-ipadic-neologd -n -a

$ mecab -d /usr/share/mecab/dic/mecab-ipadic-neologd
お花茶屋は雨です
お花茶屋        名詞,固有名詞,一般,*,*,*,お花茶屋,オハナヂャヤ,オハナジャヤ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
雨      名詞,一般,*,*,*,*,雨,アメ,アメ
です    助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
EOS

$ echo "8月3日に放送された「中居正広の金曜日のスマイルたちへ」(TBS系)で、1日たった5分でぽっこりおなかを解消するというダイエット方法を紹介。キンタロー。のダイエットにも密着。" | mecab -d /usr/share/mecab/dic/mecab-ipadic-neologd
8月3日  名詞,固有名詞,一般,*,*,*,8月3日,ハチガツミッカ,ハチガツミッカ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
放送    名詞,サ変接続,*,*,*,*,放送,ホウソウ,ホーソー
さ      動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ
れ      動詞,接尾,*,*,一段,連用形,れる,レ,レ
た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
「      記号,括弧開,*,*,*,*,「,「,「
中居正広の金曜日のスマイルたちへ        名詞,固有名詞,一般,*,*,*,中居正広の金曜日のスマイルたちへ,ナカイマサヒロノキンヨウビノスマイルタチヘ,ナカイマサヒロノキンヨービノスマイルタチヘ
」(     記号,一般,*,*,*,*,*
TBS     名詞,固有名詞,一般,*,*,*,TBS,ティービーエス,ティービーエス
系      名詞,接尾,一般,*,*,*,系,ケイ,ケイ
)       記号,一般,*,*,*,*,*
で      助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
、      記号,読点,*,*,*,*,、,、,、
1日     名詞,固有名詞,一般,*,*,*,1日,ツイタチ,ツイタチ
たった  副詞,助詞類接続,*,*,*,*,たった,タッタ,タッタ
5分     名詞,固有名詞,一般,*,*,*,5分,ゴフン,ゴフン
で      助詞,格助詞,一般,*,*,*,で,デ,デ
ぽっこり        副詞,一般,*,*,*,*,ぽっこり,ポッコリ,ポッコリ
おなか  名詞,一般,*,*,*,*,おなか,オナカ,オナカ
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
解消    名詞,サ変接続,*,*,*,*,解消,カイショウ,カイショー
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
という  助詞,格助詞,連語,*,*,*,という,トイウ,トユウ
ダイエット方法  名詞,固有名詞,一般,*,*,*,ダイエット方法,ダイエットホウホウ,ダイエットホウホー
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
紹介    名詞,サ変接続,*,*,*,*,紹介,ショウカイ,ショーカイ
。      記号,句点,*,*,*,*,。,。,。
キンタロー。    名詞,固有名詞,一般,*,*,*,キンタロー。,キンタロー,キンタロー
の      助詞,連体化,*,*,*,*,の,ノ,ノ
ダイエット      名詞,サ変接続,*,*,*,*,ダイエット,ダイエット,ダイエット
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
も      助詞,係助詞,*,*,*,*,も,モ,モ
密着    名詞,サ変接続,*,*,*,*,密着,ミッチャク,ミッチャク
。      記号,句点,*,*,*,*,。,。,。
EOS

$ pip3 install scikit-learn
Successfully installed joblib-0.13.2 numpy-1.17.1 scikit-learn-0.21.3 scipy-1.3.1

$ pip3 install gensim

$ python3 sample_gensim_w2vec.py
訓練開始
Epoch: 1
Epoch: 2
Epoch: 3
Epoch: 4
Epoch: 5
Epoch: 6
Epoch: 7
Epoch: 8
Epoch: 9
Epoch: 10
Epoch: 11
Epoch: 12
Epoch: 13
Epoch: 14
Epoch: 15
Epoch: 16
Epoch: 17
Epoch: 18
Epoch: 19
Epoch: 20
SENT_0
[('SENT_1', 0.031334392726421356), ('SENT_3', -0.026536351069808006), ('SENT_2', -0.032195061445236206)]
SENT_3
[('SENT_2', 0.03055877611041069), ('SENT_1', -0.015100374817848206), ('SENT_0', -0.026536351069808006)]
SENT_1
[('SENT_0', 0.031334392726421356), ('SENT_3', -0.015100374817848206), ('SENT_2', -0.0521044060587883)]
[('今日', 0.01506108045578003), ('吠えた', -0.0007879622280597687), ('今', -0.004818214103579521), ('猫', -0.010754822753369808), ('泳ぐ', -0.01584682986140251), ('明日', -0.01980219967663288), ('犬', -0.020805783569812775), ('海', -0.0782541036605835)]

$ pip3 install zenhan
Successfully installed zenhan-0.5.2