Django實(shí)現(xiàn)whoosh搜索引擎使用jieba分詞
本文介紹了Django實(shí)現(xiàn)whoosh搜索引擎使用jieba分詞,分享給大家,具體如下:
Django版本:3.0.4python包準(zhǔn)備:
pip install django-haystackpip install jieba
使用jieba分詞
1.cd到site-packages內(nèi)的haystack包,創(chuàng)建并編輯ChineseAnalyzer.py文件
# (注意:pip安裝的是django-haystack,但是實(shí)際包的文件夾名字為haystack)cd /usr/local/lib/python3.8/site-packages/haystack/backends/# 創(chuàng)建并編輯ChineseAnalyzer.py文件vim ChineseAnalyzer.py
2.修改ChineseAnalyzer.py文件內(nèi)容
import jiebafrom whoosh.analysis import Tokenizer, Tokenclass ChineseTokenizer(Tokenizer): def __call__(self, value, positions=False, chars=False, keeporiginal=False, removestops=True, start_pos=0, start_char=0, mode=’’, **kwargs): t = Token(positions, chars, removestops=removestops, mode=mode,**kwargs) seglist = jieba.cut(value, cut_all=True) for w in seglist: t.original = t.text = w t.boost = 1.0 if positions: t.pos = start_pos + value.find(w) if chars: t.startchar = start_char + value.find(w) t.endchar = start_char + value.find(w) + len(w) yield tdef ChineseAnalyzer(): return ChineseTokenizer()
3.替換分詞器
cp whoosh_backend.py whoosh_cn_backend.pyvim whoosh_cn_backend.py
# 導(dǎo)入ChineseAnalyzer,并將原有的StemmingAnalyser替換為ChineseAnalyzerfrom .ChineseAnalyzer import ChineseAnalyzer# from whoosh.analysis import StemmingAnalyzer
vim替換命令: %s/StemmingAnalyzer/ChineseAnalyzer/g
4.修改setting.py文件
# 全文搜索框架配置HAYSTACK_CONNECTIONS = { ’default’: { # 使用whoosh引擎 # ’ENGINE’: ’haystack.backends.whoosh_backend.WhooshEngine’, # 使用jieba分詞 ’ENGINE’: ’haystack.backends.whoosh_cn_backend.WhooshEngine’, # 索引文件路徑 ’PATH’: os.path.join(BASE_DIR, ’whoosh_index’), },}
5.重新建立索引
python manage.py rebuild_index
可以看到,已經(jīng)使用了jieba分詞。
到此這篇關(guān)于Django實(shí)現(xiàn)whoosh搜索引擎使用jieba分詞的文章就介紹到這了,更多相關(guān)Django jieba分詞內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. Android 7.0 運(yùn)行時(shí)權(quán)限彈窗問(wèn)題的解決2. java實(shí)現(xiàn)圖形化界面計(jì)算器3. IntelliJ IDEA設(shè)置條件斷點(diǎn)的方法步驟4. ASP.NET MVC解決上傳圖片臟數(shù)據(jù)的方法5. ASP基礎(chǔ)入門(mén)第七篇(ASP內(nèi)建對(duì)象Response)6. 如何利用python和DOS獲取wifi密碼7. Thinkphp3.2.3反序列化漏洞實(shí)例分析8. python Xpath語(yǔ)法的使用9. 原生js XMLhttprequest請(qǐng)求onreadystatechange執(zhí)行兩次的解決10. python 批量將PPT導(dǎo)出成圖片集的案例
