基于全局折扣的统计语言模型平滑技术

• 作者: 何中市 黄永文
• 来源期刊: 重庆大学学报（自然科学版）
• 学科: 工学
• 关键词: 统计语言模型 平滑技术 全局折扣 困惑度
• 年，卷（期）: 2005,（8）
• 所属期刊栏目: 计算机·通信·自动化
• 页码范围: 51-55
• 页数: 5页
• 分类号: TP181
• 字数: 4521字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-582X.2005.08.014

摘要

数据平滑是用来解决统计语言模型在实际应用中遇到的数据稀疏问题.现有平滑技术利用不同的折扣和补偿策略来处理数据稀疏问题,在计算复杂性与合理性方面各有其优缺点.针对二元模型,笔者提出了一种基于全局折扣GD(Global Discount)的平滑技术,其基本思想是对模型中每个二元对的频率值都进行不同程度的折扣,并用低阶模型对零概率事件进行补偿,通过极小化困惑度原则体现了模型的合理性.实验结果表明该平滑技术优于目前常用的Katz平滑技术.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何中市	重庆大学计算机学院	96	980	17.0	24.0
2	黄永文	重庆大学计算机学院	9	218	7.0	9.0