# 必要なモジュールのインポート
import pickle
import os.path
from googleapiclient.discovery import build


# 今回はアメブロデータをスプレッドシートに格納しているのでそこからデータをインポートする
# スプレッドシート取得のための情報を指定する
SCOPES = [SHEET SCOPES]
SAMPLE_SPREADSHEET_ID = "INPUT ID"
SAMPLE_RANGE_NAME = 'INPUT RANGE'

if os.path.exists('token.pickle'):
        with open('token.pickle', 'rb') as token:
            creds = pickle.load(token)

service = build('sheets', 'v4', credentials=creds)

# Sheets API　を呼び出す
sheet = service.spreadsheets()
result = sheet.values().get(spreadsheetId=SAMPLE_SPREADSHEET_ID,
                            range=SAMPLE_RANGE_NAME).execute()
values = result.get('values', [])

# ブログデータをリストに格納する
brog_list =[]
for i in values:
    for brog in i:
        brog_list.append(brog)

# 必要なモジュールのインポート
import MeCab
import re
import io
from gensim.models import word2vec

# stop wordの指定
# ブログ中に存在したノイズである単語を目視で発見できたものを指定
stopword_list = ["\u3000",'―','\n','、',"・","）","（","(",")","」","「","*","[","]","ため", "こと", "一つ", "よう", "うち",
                 "うえ", "たち", "これら", "それ", "今後", "もの", "以下", "未満",
                 "その他", "ほか", "すべて", "課題", "これ", "まま", "いずれ", "はるか", "アジェンダ", "多く", "半分", "以外",
                 "件数", "限り", "改善", "つき", "達成", "目標", "以来", "全体", "一部", "近く", "当たり", "今日","昨日",
                 "明日","ーーー","クロ","ぁ","中","今回","前","ω","みたい","方","の","さ","なん"]

# MeCabのインスタンス生成
m = MeCab.Tagger("-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd")

# モデルに入れるためのデータ整形
# これはWord2vecのモデル生成のためにはデータを決まった形に変換しないとならないため
words_per_titles_list = []
for i in range(len(brog_list)):
    res = m.parse(brog_list[i])
    res_list = res.split('\n')
    res_list = res_list[0:-2]
    pre_list = []
    for word in res_list:
        l = re.split('\t|,',word)
        if l[0] not in stopword_list and l[1] == "名詞":
            pre_list.append(l[0])
        else:
            continue
    words_per_titles_list.append(pre_list)

title_text = ""
for i in range(len(words_per_titles_list)):
    for q in range(len(words_per_titles_list[i])):
        if q +1 == len(words_per_titles_list[i]):
            title_text += words_per_titles_list[i][q]
        else:
            title_text += words_per_titles_list[i][q] + "　"
    title_text += "\n"

io_titles_text = io.StringIO(title_text)

# モデル生成
# パラメータに関しては参考リンク先へ
sentences = word2vec.LineSentence(io_titles_text)
model = word2vec.Word2Vec(sentences,
                          sg=1,         #0: CBOW, 1: skip-gram
                          size=30,     # ベクトルの次元数
                          window=5,    # 入力単語から左右何単語を取るか
                          min_count=5,  # 考慮する単語の最低出現回数
                          )

# モデルの保存
model.save("FILENAME.model")

# モデルのロード
model = word2vec.Word2Vec.load("FILENAME.model")

results = model.wv.most_similar(positive=["笑顔"],topn=20)
for result in results:
    print(result)