一种改进的基于记忆的自适应汉语语言模型

• 作者: 孙乐 孙玉芳 张俊林
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 人工智能 自然语言处理 语言模型 自适应 同义词词林 困惑度
• 年，卷（期）: 2005,（1）
• 页码范围: 8-13
• 页数: 6页
• 分类号: TP391
• 字数: 4830字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2005.01.002

摘要

基于记忆的自适应语言模型虽然在一定程度上增强了语言模型对不同领域的适应性,但其假设过于简单,即认为一个在文章的前面部分出现过的词往往会在后面重复出现.通过对一些文本的观察分析,我们认为作者在书写文章的时候,除了常常使用前文中出现过的词汇外,为了避免用词单调,还会在行文过程中使用前文出现过词汇的近义词或者同义词.另外,一篇文章总是围绕某个主题展开,所以在文章中出现的许多词汇往往在语义上有很大的相关性.我们对基于记忆的语言模型进行了扩展,利用汉语义类词典,将与缓存中所保留词汇语义上相近或者相关的词汇也引入缓存.实验表明这种改进在很大程度上提高了原有模型的性能,与n元语言模型相比困惑度下降了40.1%,有效地增强了语言模型的自适应性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙玉芳	中国科学院软件研究所系统软件与中文信息中心	98	2323	27.0	45.0
2	孙乐	中国科学院软件研究所系统软件与中文信息中心	30	714	11.0	26.0
3	张俊林	中国科学院软件研究所系统软件与中文信息中心	8	80	6.0	8.0