基于注意力机制的概念化句嵌入研究

• 作者: 冯冲 周强 王亚珅 黄河燕
• 来源期刊: 自动化学报
• 关键词: 句嵌入 短文本概念化 注意力机制 词嵌入 语义表达
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 论文与报告
• 页码范围: 1390-1400
• 页数: 11页
• 字数: 12458字
• 语种: 中文
• DOI: 10.16383/j.aas.2018.c170295

摘要

大多数句嵌模型仅利用文本字面信息来完成句子向量化表示,导致这些模型对普遍存在的一词多义现象缺乏甄别能力.为了增强句子的语义表达能力,本文使用短文本概念化算法为语料库中的每个句子赋予相关概念,然后学习概念化句嵌入(Conceptual sentence embedding,CSE).因此,由于引入了概念信息,这种语义表示比目前广泛使用的句嵌入模型更具表达能力.此外,我们通过引入注意力机制进一步扩展概念化句嵌入模型,使模型能够有区别地选择上下文语境中的相关词语以实现更高效的预测.本文通过文本分类和信息检索等语言理解任务来验证所提出的概念化句嵌入模型的性能,实验结果证明本文所提出的模型性能优于其他句嵌入模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄河燕	北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心	30	311	13.0	16.0
2	冯冲	北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心	14	156	7.0	12.0
3	王亚珅	北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心	4	6	2.0	2.0
4	周强		1	0	0.0	0.0