N-gram模型综述

• 作者: 吴敏 尹陈
• 来源期刊: 计算机系统应用
• 关键词: N-gram模型 拉普拉斯平滑 卡茨回退 Kneser-Ney平滑 困惑度
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 专论·综述
• 页码范围: 33-38
• 页数: 6页
• 字数: 4385字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006560

摘要

N-gram模型是自然语言处理中最常用的语言模型之一,广泛应用于语音识别、手写识别、拼写纠错、机器翻译和搜索引擎等众多任务.但是N-gram模型在训练和应用时经常会出现零概率问题,导致无法获得良好的语言模型,因此出现了拉普拉斯平滑、卡茨回退和Kneser-Ney平滑等平滑方法.在介绍了这些平滑方法的基本原理后,使用困惑度作为度量标准去比较了基于这几种平滑方法所训练出的语言模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴敏	中国科学技术大学软件学院	79	499	12.0	19.0
2	尹陈	中国科学技术大学软件学院	1	19	1.0	1.0