一种改进的基于二元统计的HMM分词算法

• 作者: 李德华 潘莹 田思虑
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 中文分词 逆向最大匹配 二元统计模型 HMM模型
• 年，卷（期）: 2011,（1）
• 所属期刊栏目: 算法与分析
• 页码范围: 14-16,20
• 分类号: TP311
• 字数: 3567字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2011.01.005

摘要

中文分词是中文信息处理的基础.基于二元统计的HMM中文分词算法表现良好,但也存在易将包含常用介、副词的词进行误拆分的问题.改进的分词算法运用逆向最大匹配的思想,在计算粗分集权重的过程中,考虑了分词的词长及词序对正确切分的有利影响.该算法首先计算出二元统计粗分模型有向边的权值,然后根据词长修定权值,最后运用最短路径法求出分词结果.实验结果表明,该算法有效的解决了过分拆分的问题,分词效果良好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李德华	华中科技大学图像识别与人工智能研究所	123	1321	19.0	29.0
2	潘莹	华中科技大学图像识别与人工智能研究所	6	28	2.0	5.0
6	田思虑	华中科技大学图像识别与人工智能研究所	1	10	1.0	1.0