#データサイエンティスト、自然言語処理、機械学習を含むtwitterデータを使います。
#search_tweet_listが、取得したデータを保持しているリスト変数です。

#tfidfのために、twitterデータを分かち書きする関数
def wakati_word_list_create(sentences, get_word_class):
    #複数文から、指定の品詞(GET_WORD_CLASS)を抽出した単語リスト
    sentences_word_list = []

    for sentence in sentences:
        #一文から、指定の品詞(GET_WORD_CLASS)を抽出した単語リスト
        one_sentence_word_str = ''
        #形態素解析
        node = mecab.parseToNode(sentence)

        while node:

            #語幹
            word = node.feature.split(",")[-3]
            #品詞
            word_class = node.feature.split(",")[0]  
            #(指定の品詞(GET_WORD_CLASS)である) and (語幹が＊のもの(つまり未知語))場合は、単語リストに追加
            if word_class in get_word_class and word != '*': 
                one_sentence_word_str = one_sentence_word_str + " " + word

            node = node.next
        sentences_word_list.append(one_sentence_word_str)
    return sentences_word_list

#twitterデータから、指定品詞の分かち分割形式の単語リストを生成
GET_WORD_CLASS = ['名詞', '形容詞']
wakati_word_list = wakati_word_list_create(search_tweet_list, GET_WORD_CLASS)

#tfidfベクトル化
from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(use_idf=True, token_pattern=u'(?u)\\b\\w+\\b')
#言語モデル作成
tfidf_model = tfidf.fit(wakati_word_list)
#ベクトル空間作成
vectors = tfidf_model.transform(wakati_word_list).toarray()

import numpy as np

#cos類似度を計算する関数
def cos_sim(v1, v2):
    return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))

#検索時に何件を表示させるか
OUTPUT_NUMBER = 5

#検索したい文章、キーワード(入力データ)
search_sentence = ["ここに、なに調べたいかを書いてね"]

#wakati_word_list_createは、上のソースコードに書いている関数です。
wakati_input_texts = wakati_word_list_create(search_sentence, GET_WORD_CLASS)

#作った言語モデルはここで使うよ
tfidf_vectors = tfidf_model.transform(wakati_input_texts).toarray()

similars_map = {}

for sentence_id, sentence_vector in enumerate(vectors):
    similars_map[sentence_id] = cos_sim(tfidf_vectors[0], sentence_vector)
sorted_similars_map = sorted(similars_map.items(), key=lambda x: -x[1])

#任意件数(OUTPUT_NUMBER)を表示
print("入力文章：{}".format(search_sentence[0]))
for break_flag, similar_map in enumerate(sorted_similars_map):
    if break_flag == OUTPUT_NUMBER:
        break
    sentence_id = similar_map[0]
    sentence_similar = similar_map[1]
    if np.isnan(sentence_similar):
        if break_flag == 0:
            print("類似データは1件もなかったよ")
        break

    print("==========================================")
    print("類似度 : {}".format(sentence_similar))
    print("{}".format(search_tweet_list[sentence_id]))
    print("")