融入句法感知表示进行句法增强的语义解析

• 作者: 谢德峰 吉建民
• 来源期刊: 计算机应用
• 关键词: 句法感知 语义解析 深度学习 自然语言处理 语言模型
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 2489-2495
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020111863

摘要

在自然语言处理(NLP)中,句法信息是完整句子中词汇与词汇之间的句法结构关系或者依存关系,是一种重要且有效的参考信息.语义解析任务是将自然语言语句直接转化成语义完整的、计算机可执行的语言.在以往的语义解析研究中,少有采用输入源的句法信息来提高端到端语义解析效率的工作.为了进一步提高端到端语义解析模型的准确率和效率,提出一种利用输入端句法依存关系信息来提高模型效率的语义解析方法.该方法的基本思路是先对一个端到端的依存关系解析器进行预训练;然后将该解析器的中间表示作为句法感知表示,与原有的字词嵌入表示拼接到一起以产生新的输入嵌入表示,并将得到的输入嵌入表示用于端到端语义解析模型;最后采用转导融合学习方式进行模型融合.实验对比了所提模型和基准模型Transformer以及过去十年的相关工作.实验结果表明,在ATIS、GEO、JOBS数据集上,融入依存句法信息感知表示以及转导融合学习的语义解析模型分别实现了89.1％、90.7％、91.4％的最佳准确率,全面超过了Transformer,验证了引入句法依存关系信息的有效性.