采用自注意力机制和CNN融合的实体关系抽取

• 作者: 张泽华 段跃兴 闫雄
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 实体关系抽取 自注意力机制 卷积神经网络 词向量 上下文语义
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 2059-2066
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2020.11.019

摘要

目前在实体关系抽取任务中,神经网络模型发挥着重要的作用,利用卷积神经网络可以自动提取特征,但是在卷积神经网络中利用固定窗口大小的卷积核来提取句子中词的上下文语义信息受到限制.因此,提出一种新的采用自注意力和卷积神经网络融合的关系抽取模型.利用原始的词向量通过自注意力机制计算得到序列中词之间的相互关系,使得输入的词向量表达出更加丰富的语义信息,从而弥补卷积神经网络自动提取特征的不足.在SemEval-2010 Task 8数据集上的实验结果表明,加入自注意力机制以后,本文模型有利于提升实体关系抽取效果.