似たようなテキストをPythoonでフィルタリングする簡単な方法の例
問題
ファイルの内容が同じであっても、タイトルが違っていても、複数のドキュメントがアーカイブ中に存在すると仮定します。今は想像してみてください。今は必要ではない重複文書を削除して、いくつかの空間を解放してください。
問題は、タイトルが十分に似ているテキストをどのようにフィルタして内容を同じにしますか？次に、この目標をどうやって実現しますか？操作が完了したときに、複数の文書を削除せずに、ユニークな文書のセットを保存しますか？コードを使って、もっとはっきりさせましょう。
次に、この問題を解決するための異なる手順を紹介します。以下は制御流の概要である。
すべてのタイトルテキストを前処理します。
すべてのタイトルペアを生成
すべてのペアの類似性をテストします。
類似性テストに失敗したテキストのペアが、テキストの一つを削除し、新しいテキストリストを作成します。
似たような新しいテキストリストをテストし続けます。似たようなテキストが残るまでは。
Pythonで表しています。これは再帰関数によく写ります。
コード
以下はPythonでこの機能を実現する2つの関数です。
この関数に「End of Year Review 2020」を入力すると、「end year review 2020」を出力として取得します。January Sales Projectionを入力すると、January sale projectionがもらえます。
それは主にpythonの中でとても使いやすいspacyライブラリを使っています。
第二の関数（30行目）は、すべてのタイトルのペアを作成し、それらがコサイン類似度テストに合格したかどうかを判定します。似たようなタイトルが見つからない場合、似ていないタイトルのリストが出力されます。しかし、似たようなタイトルが見つかったら、類似度テストに合格していないペアリングを削除した後、これらのフィルタリングされたタイトルを再度自分に送り、似たようなタイトルがあるかどうかを確認します。
これはなぜ再帰的なのですか？単純明瞭であり、これは関数が出力を確認し続けることを意味し、本当に「最終」出力に戻る前に同様のタイトルがないことを確認する。
コサインの類似度は何ですか？
しかし、簡単に言うと、これはspacyが舞台裏でしたことです。
まず、前処理した仕事を覚えていますか？まず、spacyは私たちが入力した単語をデジタルマトリックスに変えました。
いったんそれが完成すれば、これらの数字をベクトルに変えることができます。つまり、それらを図に描いてもいいです。
このようにすれば、2本の直線の余弦を計算して、同じ方向を指すかどうかを知ることができます。
そこで上の図では、A線は「輝くオレンジ色の果物」、B線は「光る赤いリンゴは果物」ということを想像してみましょう。
この場合、行Aと行Bは、両方ともスペースがこの2つの文のために作成された数字行列に対応しています。この二つの線の間の角度は――上のグラフでギリシャ文字のthetaで表しています。余弦を計算して、この二つの線が同じ方向を指すかどうかを判断してもいいです。
これは明らかに見えて計算が難しいようですが、この方法は自動化プロセス全体の方法を提供してくれます。
締め括りをつける
振り返ってみると、再帰的python関数は、コサイン類似性とspacy自然言語処理ライブラリを用いて、似たようなテキストの入力を受け、互いにあまり似ていないテキストを返す方法を説明しました。
多くのこのような用例があるかもしれませんが、この文章の冒頭で述べたファイル化の用例に似ています。このような方法を使ってデータ集中で唯一の歌詞を持つ歌をフィルタリングしたり、唯一の内容を持つソーシャルメディアの書き込みをフィルタリングしたりすることもできます。
この記事では似たようなテキストをPythonでフィルタリングする簡単な方法について紹介します。Pythonフィルタリングに関する詳細は以前の文章を検索してください。または下記の関連記事を引き続きご覧ください。これからもよろしくお願いします。
ファイルの内容が同じであっても、タイトルが違っていても、複数のドキュメントがアーカイブ中に存在すると仮定します。今は想像してみてください。今は必要ではない重複文書を削除して、いくつかの空間を解放してください。
問題は、タイトルが十分に似ているテキストをどのようにフィルタして内容を同じにしますか？次に、この目標をどうやって実現しますか？操作が完了したときに、複数の文書を削除せずに、ユニークな文書のセットを保存しますか？コードを使って、もっとはっきりさせましょう。
titles = [
"End of Year Review 2020",
"2020 End of Year",
"January Sales Projections",
"Accounts 2017-2018",
"Jan Sales Predictions"
]
# Desired output
filtered_titles = [
"End of Year Review 2020",
"January Sales Projections",
"Accounts 2017-2018",
]
次に、この問題を解決するための異なる手順を紹介します。以下は制御流の概要である。
すべてのタイトルテキストを前処理します。
すべてのタイトルペアを生成
すべてのペアの類似性をテストします。
類似性テストに失敗したテキストのペアが、テキストの一つを削除し、新しいテキストリストを作成します。
似たような新しいテキストリストをテストし続けます。似たようなテキストが残るまでは。
Pythonで表しています。これは再帰関数によく写ります。
コード
以下はPythonでこの機能を実現する2つの関数です。
import spacy
from itertools import combinations
# Set globals
nlp = spacy.load("en_core_web_md")
def pre_process(titles):
"""
Pre-processes titles by removing stopwords and lemmatizing text.
:param titles: list of strings, contains target titles,.
:return: preprocessed_title_docs, list containing pre-processed titles.
"""
# Preprocess all the titles
title_docs = [nlp(x) for x in titles]
preprocessed_title_docs = []
lemmatized_tokens = []
for title_doc in title_docs:
for token in title_doc:
if not token.is_stop:
lemmatized_tokens.append(token.lemma_)
preprocessed_title_docs.append(" ".join(lemmatized_tokens))
del lemmatized_tokens[
:
] # empty the lemmatized tokens list as the code moves onto a new title
return preprocessed_title_docs
def similarity_filter(titles):
"""
Recursively check if titles pass a similarity filter.
:param titles: list of strings, contains titles.
If the function finds titles that fail the similarity test, the above param will be the function output.
:return: this method upon itself unless there are no similar titles; in that case the feed that was passed
in is returned.
"""
# Preprocess titles
preprocessed_title_docs = pre_process(titles)
# Remove similar titles
all_summary_pairs = list(combinations(preprocessed_title_docs, 2))
similar_titles = []
for pair in all_summary_pairs:
title1 = nlp(pair[0])
title2 = nlp(pair[1])
similarity = title1.similarity(title2)
if similarity > 0.8:
similar_titles.append(pair)
titles_to_remove = []
for a_title in similar_titles:
# Get the index of the first title in the pair
index_for_removal = preprocessed_title_docs.index(a_title[0])
titles_to_remove.append(index_for_removal)
# Get indices of similar titles and remove them
similar_title_counts = set(titles_to_remove)
similar_titles = [
x[1] for x in enumerate(titles) if x[0] in similar_title_counts
]
# Exit the recursion if there are no longer any similar titles
if len(similar_title_counts) == 0:
return titles
# Continue the recursion if there are still titles to remove
else:
# Remove similar titles from the next input
for title in similar_titles:
idx = titles.index(title)
titles.pop(idx)
return similarity_filter(titles)
if __name__ == "__main__":
your_title_list = ['title1', 'title2']
similarty_filter(your_title_list)
この関数に「End of Year Review 2020」を入力すると、「end year review 2020」を出力として取得します。January Sales Projectionを入力すると、January sale projectionがもらえます。
それは主にpythonの中でとても使いやすいspacyライブラリを使っています。
第二の関数（30行目）は、すべてのタイトルのペアを作成し、それらがコサイン類似度テストに合格したかどうかを判定します。似たようなタイトルが見つからない場合、似ていないタイトルのリストが出力されます。しかし、似たようなタイトルが見つかったら、類似度テストに合格していないペアリングを削除した後、これらのフィルタリングされたタイトルを再度自分に送り、似たようなタイトルがあるかどうかを確認します。
これはなぜ再帰的なのですか？単純明瞭であり、これは関数が出力を確認し続けることを意味し、本当に「最終」出力に戻る前に同様のタイトルがないことを確認する。
コサインの類似度は何ですか？
しかし、簡単に言うと、これはspacyが舞台裏でしたことです。
まず、前処理した仕事を覚えていますか？まず、spacyは私たちが入力した単語をデジタルマトリックスに変えました。
いったんそれが完成すれば、これらの数字をベクトルに変えることができます。つまり、それらを図に描いてもいいです。
このようにすれば、2本の直線の余弦を計算して、同じ方向を指すかどうかを知ることができます。
そこで上の図では、A線は「輝くオレンジ色の果物」、B線は「光る赤いリンゴは果物」ということを想像してみましょう。
この場合、行Aと行Bは、両方ともスペースがこの2つの文のために作成された数字行列に対応しています。この二つの線の間の角度は――上のグラフでギリシャ文字のthetaで表しています。余弦を計算して、この二つの線が同じ方向を指すかどうかを判断してもいいです。
これは明らかに見えて計算が難しいようですが、この方法は自動化プロセス全体の方法を提供してくれます。
締め括りをつける
振り返ってみると、再帰的python関数は、コサイン類似性とspacy自然言語処理ライブラリを用いて、似たようなテキストの入力を受け、互いにあまり似ていないテキストを返す方法を説明しました。
多くのこのような用例があるかもしれませんが、この文章の冒頭で述べたファイル化の用例に似ています。このような方法を使ってデータ集中で唯一の歌詞を持つ歌をフィルタリングしたり、唯一の内容を持つソーシャルメディアの書き込みをフィルタリングしたりすることもできます。
この記事では似たようなテキストをPythonでフィルタリングする簡単な方法について紹介します。Pythonフィルタリングに関する詳細は以前の文章を検索してください。または下記の関連記事を引き続きご覧ください。これからもよろしくお願いします。