基于对抗正则化的自然语言推理

• 作者: 刘广灿 徐波 曹宇 许家铭
• 来源期刊: 自动化学报
• 关键词: 深度学习 自然语言推理 语言偏置 对抗正则化
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 论文与报告
• 页码范围: 1455-1463
• 页数: 9页
• 字数: 6527字
• 语种: 中文
• DOI: 10.16383/j.aas.c190076

摘要

目前自然语言推理(Natural language inference,NLI)模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外,传统有监督学习方法使得模型过分依赖于训练集的语言先验,而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性,并降低语言偏置的影响,本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型,该模型以标准推理模型中的词编码作为输入,并且只有利用语言偏置才能推理成功;再通过两个模型间的对抗训练,避免标准推理模型过多依赖语言偏置.在SNLI和Breaking-NLI两个公开的标准数据集上进行实验,该方法在SNLI数据集已有的基于句子嵌入的推理模型中达到最佳性能,在测试集上取得了87.60％的准确率;并且在Breaking-NLI数据集上也取得了目前公开的最佳结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐波	中国科学院自动化研究所	92	929	15.0	27.0
5	刘广灿	哈尔滨理工大学自动化学院	1	0	0.0	0.0
9	曹宇	哈尔滨理工大学自动化学院	2	0	0.0	0.0
10	许家铭	中国科学院自动化研究所	2	4	1.0	2.0