基于优化最大匹配与统计结合的汉语分词方法

• 作者: 刘国华 刘春辉 李颖 金顺福
• 来源期刊: 燕山大学学报
• 学科: 工学
• 关键词: 中文信息处理 词典 分词 优化最大匹配方法
• 年，卷（期）: 2009,（2）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 124-129
• 页数: 6页
• 分类号: TP391.1
• 字数: 4512字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-791X.2009.02.007

摘要

汉语自动分词足中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题.基于训典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频汁算耗费时间.本文提出优化最大匹配与统汁结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略.然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率.最后,基十分词算法实现中义分词系统,并通过实验对算法进行了分析和验证.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李颖	燕山大学信息科学与工程学院	21	126	6.0	11.0
2	刘国华	燕山大学信息科学与工程学院	132	953	15.0	23.0
3	金顺福	燕山大学信息科学与工程学院	74	297	9.0	13.0
4	刘春辉	燕山大学信息科学与工程学院	8	73	4.0	8.0