特定领域的汉语语言模型平滑算法比较研究

• 作者: 张建平 杨琳 颜永红
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 语言模型 特定领域 语音识别 平滑 字典
• 年，卷（期）: 2006,（32）
• 所属期刊栏目: 博士论坛
• 页码范围: 14-16
• 页数: 3页
• 分类号: TP391.4
• 字数: 3903字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2006.32.005

摘要

为了完成特定领域的语音识别任务,利用有限的语料建立高性能的语言模型成为提高系统性能的关键.针对此问题,对特定领域的语言模型进行了研究.提出了利用高频新词来加强模型的领域特征的方法,采取了两种方案:一种是将高频新词直接加入原有字典,并在训练过程中增加这些新词的权重,使模型更能表达与领域相关的特征;一种是基于高频新词统计出一个和领域相关的小词表,并对这两种方案进行了比较研究.通过实验研究了适合汉语语言的平滑策略.最后,实验结果表明,对于特定领域问题,语言模型平滑算法对模型性能影响较大;采用适合汉语的Witten-Bell插值平滑,可以使识别率达到88.4%,比通用模型性能相对提高了18.18%.