基于互信息的语言模型回退平滑算法

• 作者: 张磊 褚昆 郭黎利
• 来源期刊: 应用科技
• 学科: 工学
• 关键词: 中文信息处理 统计语言模型 平滑算法 互信息 困惑度
• 年，卷（期）: 2009,（4）
• 所属期刊栏目: 现代电子技术
• 页码范围: 28-31,35
• 页数: 5页
• 分类号: TP391
• 字数: 4490字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-671X.2009.04.008

摘要

针对二元模型,提出了一种基于互信息的回退(MI Back-off)平滑算法.从互信息的角度,分析词之间的搭配关系,根据模型中每个二元对的互信息对其概率进行不同程度的折扣,并利用低阶模型对零概率事件进行补偿,通过极小化困惑度的原则体现新算法的合理性.在不同类别测试集下, 该平滑算法与传统Katz平滑算法相比,模型困惑度下降均超过20%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张磊	哈尔滨工程大学信息与通信工程学院	159	1265	17.0	29.0
2	郭黎利	哈尔滨工程大学信息与通信工程学院	227	1481	19.0	25.0
3	褚昆	哈尔滨工程大学信息与通信工程学院	1	3	1.0	1.0