基于受限语料库的语言平滑算法比较研究

• 作者: 孙守安 杨根科 杨祖华
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: 自然语言处理 受限语料库 语言模型 数据稀疏
• 年，卷（期）: 2010,（12）
• 页码范围: 18-20
• 分类号: TP391.2
• 字数: 4356字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-757X.2010.12.006

摘要

随着网络的广泛应用和科技的高速发展,人们所接收信息急剧增加,机器翻译面临强大的市场需求.从现存文本资料中提取语言模型,是整个机器翻译系统的重点,决定了翻译系统的性能表现.用于特定领域的文本翻译系统,往往受到相关文本缺少的困扰,无法通过大规模语料库的建设来训练语言模型,由此而产生了严重的数据稀疏问题.通过实验研究了受限语料库下语言模型平滑算法的选择.实验结论表明,在语料库极度受限的情况下,Good-Turing能够发挥其低频词汇重估优势,良好解决训练语料库的数据稀疏问题.通过该方法,可以提高在语料受限条件下语言模型的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨根科	上海交通大学自动化系	84	740	14.0	24.0
2	孙守安	上海交通大学自动化系	1	0	0.0	0.0
3	杨祖华		2	5	1.0	2.0