发布时间:2025-12-10 11:30:35 浏览次数:12
coreseek添加新词库
coreseek使用mmseg作为分词工具,默认的词库是有限的,我们需要为mmseg增加自定义词,用来丰富词库,实现更加精准的搜索服务。本文介绍如何自定义mmseg词,并通过脚本和mmseg命令导入词库。
1、下载搜狗词库
搜狗词库下载地址:http://pinyin.sogou.com/dict/
2、然后通过以下工具 把搜狗词库scel转txt/mmseg
https://www.toolnb.com/tools/scelto.html
3、将多个词库txt文本文件合并为一个文件
新建一个文本文档,文本中输入如下代码:
copy *.txt unigram.txt
将文本文档的扩展名改为bat,如“merge.bat”。
双击运行merge.bat,会将所有以.txt结尾的文件合并到unigram.txt中