基于多头注意力机制Tree-LSTM的句子语义相似度计算

• 作者: 吴以茵 李弼程 李海林 王成 胡艳霞
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 句子语义相似度计算 多头注意力机制 Tree-LSTM 语义依存树
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 23-33
• 页数: 11页
• 分类号: TP391
• 字数: 8594字
• 语种: 中文

摘要

针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法.首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用.该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程.在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王成	华侨大学计算机科学与技术学院	31	215	6.0	14.0
2	吴以茵	华侨大学计算机科学与技术学院	12	10	2.0	2.0
3	李海林	华侨大学工商管理学院	34	368	10.0	18.0
4	李弼程	华侨大学计算机科学与技术学院	14	19	2.0	4.0
5	胡艳霞	华侨大学计算机科学与技术学院	1	0	0.0	0.0