无监督的句法可控复述模型用于对抗样本生成

• 作者: 杨二光 刘明童 张玉洁 孟遥 胡长建 徐金安 陈钰枫
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 无监督学习 句法可控复述生成模型 对抗样本
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 83-90
• 页数: 8页
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2020.079

摘要

针对使用句法可控的复述生成模型生成对抗样本时模型性能受限于复述平行语料的领域和规模的问题,提出仅需要单语语料训练的无监督的句法可控复述生成模型,用以生成对抗样本.采用变分自编码方式学习模型,首先将句子和句法树分别映射为语义变量和句法变量,然后基于语义变量和句法变量重构原始句子.在重构过程中,模型可以在不使用任何平行语料的情况下学习生成句法变化的复述.在无监督复述生成和对抗样本生成任务中的实验结果表明,所提方法在无监督复述生成任务中取得最佳性能,在对抗样本生成任务中可以生成有效的对抗样本,用以改进神经自然语言处理(NLP)模型的鲁棒性和泛化能力.