中文分词中的正向增字最大匹配算法研究

• 作者: 吴刚 戴上静 石春
• 来源期刊: 微型机与应用
• 学科: 工学
• 关键词: 中文分词 Trie树 逐词扫描 正向增字匹配
• 年，卷（期）: 2014,（17）
• 所属期刊栏目: 软件天地
• 页码范围: 15-18
• 页数: 4页
• 分类号: TP391.12
• 字数: 3835字
• 语种: 中文

摘要

针对正向最大匹配算法的长词丢失、匹配次数较多、歧义字段处理的准确率较低等问题,基于Trie树词典提出了3种正向增字最大匹配算法,分别使用逐词扫描、尾部折半扫描和尾部减一扫描这3种扫描方式采集歧义字段,并建立了一套歧义处理方法.实验结果表明,该3种算法在分词速度和准确率上均有显著提高,错误率降低到了原算法的三分之一以下.当文本规模大于200 MB时,3种正向增字最大匹配算法的分词速度均比原最大匹配算法提高30％以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴刚	中国科学技术大学自动化系工业自动化研究所	217	3774	29.0	54.0
2	石春	中国科学技术大学自动化系工业自动化研究所	44	296	9.0	15.0
3	戴上静	中国科学技术大学自动化系工业自动化研究所	3	18	2.0	3.0