一种基于LUCENE的中文分词算法研究

• 作者: 于雪丽 戴洪 樊程 蒋静
• 来源期刊: 青岛大学学报（自然科学版）
• 学科: 工学
• 关键词: 全文检索 Lucene 中文分词
• 年，卷（期）: 2011,（3）
• 所属期刊栏目: 信息工程
• 页码范围: 53-58
• 分类号: TP391
• 字数: 3842字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-1037.2011.08.012

摘要

由于Lucene自带的ChineseAnalyzer和CJKAnalyzer两种中文分析器不能够满足全文检索系统的应用,本文给出了一种新的中文分词算法,用于改进Lucene中文分析器.该算法基于字符串匹配原理,实现了正向和逆向相结合的最大增字匹配分词算法.通过实验仿真,比较改进后的分析器与Lucene自带的两种分析器在分词效果和效率上的差异.结果显示,改进后的分析器分词效果明显优于Lucene自带的两种分析器,提高了全文检索系统的中文处理能力,系统的查全率和查准率都达到用户的需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋静	青岛大学信息工程学院	21	79	5.0	8.0
2	樊程	青岛大学信息工程学院	3	30	3.0	3.0
3	戴洪	青岛大学信息工程学院	3	30	3.0	3.0
4	于雪丽	青岛大学信息工程学院	1	6	1.0	1.0