Djangoプロジェクトでhaystack全文検索フレームワークを使用する場合の分詞の変更
Djangoプロジェクトでは、全文検索フレームワークを使用する場合、中国語の分詞方式をうまくサポートするには、「結巴」分詞を使用します.
1.jieba分詞モジュールのインストール
2.あなたのプロジェクト環境のhaystackディレクトリを見つけて、次は私のプロジェクト環境パスです.
3.上のディレクトリにChineseAnalyzerを作成します.pyファイル
4.whoosh_のコピーbackend.pyファイルと名前をwhoosh_と変更cn_backend.py(注:whoosh全文検索エンジンを使用しています)
5.whoosh_を開くcn_backend.pyファイルは、中国語分析クラスを導入し、内部にjieba分詞を採用しています.
6.語分析クラスの変更
7.settingsを修正する.pyファイルの構成項目
8.インデックスファイルの再構築
1.jieba分詞モジュールのインストール
pip install jieba
2.あなたのプロジェクト環境のhaystackディレクトリを見つけて、次は私のプロジェクト環境パスです.
/home/michael/.virtualenvs/Django_test/lib/python3.5/site-packages/haystack/backends/
3.上のディレクトリにChineseAnalyzerを作成します.pyファイル
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def ChineseAnalyzer():
return ChineseTokenizer()
4.whoosh_のコピーbackend.pyファイルと名前をwhoosh_と変更cn_backend.py(注:whoosh全文検索エンジンを使用しています)
cp whoosh_backend.py whoosh_cn_backend.py
5.whoosh_を開くcn_backend.pyファイルは、中国語分析クラスを導入し、内部にjieba分詞を採用しています.
from .ChineseAnalyzer import ChineseAnalyzer
6.語分析クラスの変更
analyzer=StemmingAnalyzer()
analyzer=ChineseAnalyzer()
7.settingsを修正する.pyファイルの構成項目
HAYSTACK_CONNECTIONS = {
'default': {
# whoosh_cn_backend
'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}
8.インデックスファイルの再構築
python manage.py rebuild_index