【備忘録】 ③word2vecに変換 ~拡散されるニュースツイートを判別したい~

import gensim
import pandas as pd
import numpy as np
from gensim.models import KeyedVectors

# model読み込み
model = KeyedVectors.load_word2vec_format('C:/entity_vector/entity_vector.model.bin', binary=True)

# データの読み込み
acount = "@livedoornews"
df = pd.read_csv("../data/finish_preprocessing_{}.csv".format(acount))

# 直近3日間を除外
now = datetime.datetime.now()
escape = now - datetime.timedelta(days=3)
usual_news_index = [] # 非拡散ツイートのindex格納用の空リスト
buzz_news_index = [] # 拡散ツイートのindex格納用の空リスト

for index, t in zip(df.index,df["time"]):
    if df.iloc[index,6] == 1:# 拡散だったかどうか
        buzz_news_index.append(index)
    elif escape < datetime.datetime.strptime(t, '%Y-%m-%d %H:%M:%S') or 7000 > df.iloc[index,4] > 5000:#直近3日間かor5000RT~7000RTか
        pass
    else:
        usual_news_index.append(index)

print("通常ニュース数 ; {}".format(len(usual_news_index)))
print("拡散ニュース数 ; {}".format(len(buzz_news_index)))

data_news_index = usual_news_index + buzz_news_index
sample_data = df.iloc[data_news_index].reset_index()
data = np.array(sample_data[['Buzz', 'Owakati']])
data.shape

result = [] # 文章ベクトルを格納するためのリスト
dict_word = [] # 学習済みword2vecに存在していた単語を格納するためのリスト
dict_escaped = [] # 学習済みword2vecに存在していなかった単語を格納するためのリスト
for i in range(data.shape[0]): #1文章ずつ取り出す
    print("{}回目 (残り{}回)".format(i+1,data.shape[0]-i-1))
    sentense_list = data[i][1].split(' ')
    vector = [] # 文章の中の単語のベクトルを格納するためのリスト
    for word in sentense_list:
        try:
            vector.append(model[word].tolist())
            dict_word.append(word)
        except:
            dict_escaped.append(word)
    result.append(np.mean(np.array(vector), axis=0).tolist())

data_vector = pd.concat([pd.DataFrame({"label" : data[:, 0].tolist()}), pd.DataFrame(np.array(result))], axis=1)
data_vector

dict_word = list(set(dict_word))
print(len(dict_word))
print(dict_word)

dict_escaped = list(set(dict_escaped))
print(len(dict_escaped))
print(dict_escaped)

data_vector.to_csv("../data/word2vec_result_@アカウント名.csv", index=False)