jieba.Cutとposseg.Cutカスタムライブラリ特殊文字問題
862 ワード
python\Lib\site-packages\jieba\init.py(#注釈は原文)
python\Lib\site-packages\jieba\posseg\init.py
注意:変更後のカスタム辞書のフォーマットはword@@tagであること
#re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U)
re_han_default = re.compile(“(.+)”, re.U)
#re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?$’, re.U)
re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U)
#word, freq = line.split(’ ‘)[:2]
word, freq = line.split(‘\u0040\u0040’)[:2]
#re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U)
re_han_cut_all = re.compile(“(.+)”, re.U)
python\Lib\site-packages\jieba\posseg\init.py
#re_han_detail = re.compile("([\u4E00-\u9FD5]+)")
re_han_detail = re.compile("(.+)")
#re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")
re_han_internal = re.compile("(.+)")
注意:変更後のカスタム辞書のフォーマットはword@@tagであること