Word2Vec学習済みモデルを用いた文書ベクトルの2次元可視化

from sklearn.manifold import TSNE
from gensim.models import word2vec
from statistics import mean
import string
import re
import MeCab
import pandas as pd
import numpy as np

#インプットデータの読み込み
df = pd.read_csv('input.csv', encoding="utf-8")
#タイトルと要約を結合
df['text'] = df['title'].str.cat(df['abstract'], sep=' ')

#ストップワードのリスト（もしあればこのリストに追記する）
stop_words = []

#MeCabトークナイザー
def mecab_token_list(text):
    token_list = []
    tagger = MeCab.Tagger()
    tagger.parse('') 
    node = tagger.parseToNode(text)
    while node:
        pos = node.feature.split(",")
        if not node.surface in stop_words: #ストップワードは除外
            if pos[6] != '*': #見出語があればそれを追加
                token_list.append(pos[6])
            else: #なければ表層語を追加
                token_list.append(node.surface)
        node = node.next
    return list(token_list)

#数字を除去
df['text_clean'] = df.text.map(lambda x: re.sub(r'\d+', '', x))
#英文字は全て小文字に統一
df['text_clean'] = df.text_clean.map(lambda x: x.lower())
#MeCab Tokenize
df['text_tokens'] = df.text_clean.map(lambda x: mecab_token_list(x))

#Word2Vecモデルの読み込み
model = word2vec.Word2Vec.load("patent_w2v_d300_20191125.model")

#データフレームを300次元の配列に初期化
doc_vec = np.zeros((df.shape[0], 300))
#各文書における出現単語のモデルカバー率を格納するリストを用意
coverage = []
#各文書の平均ベクトルを配列に格納
for i,doc in enumerate(df['text_tokens']): #形態素解析後のテキスト情報を文書順に処理
    feature_vec = np.zeros(300) #300次元分を0に初期化
    num_words = 0
    no_count = 0
    for word in doc: #各文書の単語ごとに処理
        try: #単語ベクトルを加算していく処理
            feature_vec += model.wv[word]
            num_words += 1
        except: #分析モデルの対象外の単語はパスする
            no_count += 1
    #得られた単語ベクトルの和を単語数で割って平均値を計算し、文書ベクトルとして格納
    feature_vec = feature_vec / num_words
    doc_vec[i] = feature_vec
    #文書ごとの単語カバー率を計算し格納
    cover_rate = num_words / (num_words + no_count)
    coverage.append(cover_rate)

#単語の平均カバー率を表示
mean_coverage = round(mean(coverage)*100, 2)
print("Word cover-rate: " + str(mean_coverage) + "%")

#t-SNEによる次元削減
tsne= TSNE(n_components=2, init='pca', verbose=1, random_state=2000, perplexity=50, learning_rate=200, method='exact', n_iter=1000)
embedding = tsne.fit_transform(doc_vec)
#DataFrameに格納
embedding = pd.DataFrame(embedding, columns=['x', 'y'])
embedding["id"]= df.id
embedding["year"]= df.year
embedding["title"]= df.title
embedding["abstract"]= df.abstract

#CSVファイルとして出力
embedding.to_csv("output.csv", encoding="utf_8")