基于Lucene和MMSEG算法的中文分词器研究

• 作者: 蒋廷耀 邓晓枫
• 来源期刊: 信息通信
• 学科: 工学
• 关键词: Lucene mmseg 中文分词器 索引
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 信息管理
• 页码范围: 146-148
• 页数: 3页
• 分类号: TP311.52
• 字数: 2910字
• 语种: 中文

摘要

Lucene开放源代码的特性让很多人使用它来构建具体的全文检索应用,然而对于中文检索来说,Lucene自带的中文分词器对中文的分词处理并不理想,其分词的正确率和分词速度以及对歧义词处理等方面不能满足大多数应用的需求,因此有必要为Lucene引入第三方分词器来弥补自带分词功能的缺陷.文章对采用mmseg算法的2种分词器mmseg4j和Jcseg在分词指标、索引创建的时间消耗方面进行测试比较,评估分析测试结果,结合应用场景为Lucene选择一个合适的分词器来加强中文分词功能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋廷耀		43	233	9.0	13.0
2	邓晓枫		1	3	1.0	1.0