基于全文检索的Segmenter分词算法改进

• 作者: 赵远东 陈康 陈建华
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 分词 全文检索 树形词典 歧义包容 分支处理 动态规划 词库预载入
• 年，卷（期）: 2009,（1）
• 页码范围: 202-205
• 页数: 4页
• 分类号: TP391

摘要

流行的Segmenter分词算法是开放的java源代码，它是一个很好的分词工具。但是，在全文检索系统中对分词有特殊的要求，例如歧义包客、专业词典等。所以在这里将Segmenter词典和算法都进行了改选，建立了树状词典，在匹配算法中使用了歧义包容法则、分支处理、动态规划和词库预载入。以适应电子商务案例全文检索系统。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵远东	南京信息工程大学信息与控制学院	38	265	8.0	15.0
2	陈建华	南京信息工程大学信息与控制学院	5	83	3.0	5.0
3	陈康	南京信息工程大学信息与控制学院	5	14	2.0	3.0