基于N-gram模型的中文分词前k优算法

• 作者: 吕淑宝 张猛治 李书豪 陈宇
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 中文输入法 N-gram模型 k优路径 A*算法
• 年，卷（期）: 2016,（6）
• 页码范围: 31-35
• 页数: 5页
• 分类号: TP391
• 字数: 4016字
• 语种: 中文

摘要

本文首先从中文输入法应用的角度出发,在阐述了N-gram模型的基础上对中文输入法的分词进行了详细的剖析,进一步根据训练数据的稀疏问题,使用Back-off模型进行数据的平滑处理.针对系统词库数量受限的问题,在构建词图的前提下,使用基于A*的算法求解前k优路径.最后实验结果表明,本文所使用的基于A*的算法与改进Dijkstra算法、基于DP的算法等常用的求前k优路径的算法相比,具有较高的效率和准确率,为中文分词及求取k-best算法的研究开拓了新的思路.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈宇	东北林业大学信息与计算机工程学院	56	262	9.0	14.0
2	吕淑宝	东北林业大学信息与计算机工程学院	2	30	2.0	2.0
3	李书豪	东北林业大学信息与计算机工程学院	1	9	1.0	1.0
4	张猛治	东北林业大学信息与计算机工程学院	1	9	1.0	1.0