基于Lucene的中文分析器分词性能比较研究

• 作者: 义天鹏 陈启安
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Lucene框架 搜索引擎 中文分词 分析器 分词速度 索引 检索
• 年，卷（期）: 2012,（22）
• 所属期刊栏目: 开发研究与设计技术
• 页码范围: 279-282
• 分类号: TP391
• 字数: 4763字
• 语种: 中文

摘要

针对Lucene自带的中文分析器分词性能不理想并且难以选择第三方分析器的问题,研究多种基于Lucene的中文分析器,对语句分词、分词速度、建立索引的空间与时间、检索结果以及检索速度等方面进行比较.分析结果表明,在Lucene框架下,基于词典分词的Paoding分析器总体性能最优,Lucene自带的一元分析器分词速度最快,imdict与ICTCLAS4J分析器在算法效率上存在一定改进空间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈启安	厦门大学计算机科学系	31	163	7.0	12.0
2	义天鹏	厦门大学计算机科学系	1	48	1.0	1.0