一种基于Lucene的中文分词的设计与测试

• 作者: 王志嘉 薛质
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 中文分词 搜索引擎 Lucene 正向最大匹配算法
• 年，卷（期）: 2010,（12）
• 页码范围: 50-54
• 分类号: TP391
• 字数: 4888字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-2552.2010.12.015

摘要

设计实现了一个基于Lucene的中文分词模块,提出了一种更为有效的中文词处理方法,提高全文检索系统的中文处理能力.整个模块基于当前使用较为广泛的全文检索引擎工具包Lucene,结合正向最大匹配算法以及经过优化的中文分词词典,以实现更高效率和准确度的中文分词功能.在系统评测方面,通过实验仿真比较了该模块与StandardAnalyzer和CJKAnalyzer在功能和效率上的差异.对于如何构建一个高效的中文检索系统,提出了一种实现方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	薛质	上海交通大学信息安全工程学院	274	1489	18.0	25.0
2	王志嘉	上海交通大学信息安全工程学院	1	15	1.0	1.0