【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる

model = models.Doc2Vec.load('./data/doc2vec.model')

from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

def draw_word_scatter(word, topn=30):
    """ 入力されたwordに似ている単語の分布図を描くためのメソッド """

    # 似ている単語を求めるためにはGensim word2vecの以下の機能を利用
    # model.most_similar(word, topn=topn)
    words = [x[0] for x in sorted(model.most_similar(word, topn=topn))]
    words.append(word)

    # 各単語のベクトル表現を求めます。Gensimのmost_similarをベースとして
    # 単語のベクトルを返すメソッド(model.calc_vec)を定義しています
    # 長くなるので実装は本稿の末尾に記載しました。
    vecs = [model.calc_vec(word) for word in words]

    # 分布図
    draw_scatter_plot(vecs, words)

def draw_scatter_plot(vecs, tags, clusters)
    """ 入力されたベクトルに基づき散布図(ラベル付き)を描くためのメソッド """

    # Scikit-learnのPCAによる次元削減とその可視化
    pca = PCA(n_components=2)
    coords = pca.fit_transform(vecs)

    # matplotlibによる可視化
    fig, ax = plt.subplots()
    x = [v[0] for v in coords]
    y = [v[1] for v in coords]

    # 各点のクラスターが設定されていればクラスタを考慮
    # エラーハンドリングは適当
    if clusters:
        ax.scatter(x, y, c=clusters)
    else:
        ax.scatter(x, y)

    for i, txt in enumerate(tags):
        ax.annotate(txt, (coords[i][0], coords[i][1]))
    plt.show()

# "残業"に似てる単語を可視化
draw_word_scatter('残業', topn=40)

# "やりがい"に似てる単語を可視化
draw_word_scatter('やりがい')

import pandas as pd
from scipy.spatial.distance import pdist
from scipy.cluster.hierarchy import linkage, dendrogram

def draw_similar_word_dendrogram(word, topn=30):
    """ 入力されたwordに似ている単語の樹形図を描くためのメソッド """

    # draw_word_scatterと同じ(qiita記事用に冗長に書いてます)
    words = [x[0] for x in sorted(model.most_similar(word, topn=topn))]
    words.append(word)
    vecs = [model.calc_vec(word) for word in words]

    # SciPyの機能を用いて可視化
    # Python機械学習プロフェッショナルのコードを参考にしました
    df = pd.DataFrame(vecs, index=words)
    row_clusters = linkage(pdist(df, metric='euclidean'), method='complete')
    dendrogram(row_clusters, labels=words)
    plt.show()

# "残業"と似た単語の樹形図を書く
draw_similar_word_dendrogram('残業')

# modelの読み出し
model = models.Doc2Vec.load('./data/doc2vec.model')

# 会社, クチコミデータのDBからの読み出し
companies = connect_mysql(QUERY_COMPANIES, DB_NAME)
reviews = connect_mysql(QUERY_COMPANY_CULTURE, DB_NAME)

# クチコミデータの形態素解析
# utils.stem にMeCabによる形態素解析の処理が入っている
words = [utils.stems(review) for review in reviews]

# クチコミデータから各会社のベクトル表現を算出
vecs = [models.Doc2Vec.infer_vector(model, word) for word in words]

# 上記で定義したメソッドを用いて可視化
draw_scatter_plot(vecs, companies)

import pandas as pd
from sklearn.cluster import KMeans

def kmeans_clustering(tags, vecs, n_clusters):
    """ K平均法クラスタリングを行うメソッド """
    km = KMeans(n_clusters=n_clusters,
                init='k-means++',
                n_init=20,
                max_iter=1000,
                tol=1e-04,
                random_state=0)
    clusters = km.fit_predict(vecs)
    return pd.DataFrame(clusters, index=tags)

# クラスタ数は適当(いちおうエルボー法でそれなりの数は探した)
clusters = kmeans_clustering(companies, vecs, 10)

# クラスタ情報を付与して分布図をプロット
draw_scatter_plot(vecs, companies, clusters)