对IRSTLM的分析和改进

• 作者: 史晓东 张润延 陈毅东
• 来源期刊: 心智与计算
• 学科: 工学
• 关键词: 语言模型 IRSTLM 机器翻译 JAVA
• 年，卷（期）: 2008,（1）
• 页码范围: 8-15
• 页数: 8页
• 分类号: TP391.1

摘要

随着自然语言处理技术的发展和大规模语料库的出现,各类自然语言应用中使用的语言模型规模也越来越大。IRSTLM①在训练语言模型时采用了划分词典分块训练快速合并的方式,从而在训练大规模语料时取得了优异的性能。但它受限于训练方式,难以估算精确概率。本文在分析和重实现IRSTLM的基础上提出了一种方法,可以用来修正合并后的语言模型。在机器翻译上的实验表明,该方案有助于改进生成的语言模型的质量。同时,本项实验还填补了java平台上语言模型训练和使用工具的空白。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	史晓东	厦门大学人工智能研究所	31	290	8.0	16.0
2	陈毅东	厦门大学人工智能研究所	28	111	6.0	8.0
3	张润延	厦门大学人工智能研究所	1	0	0.0	0.0