基于多模态表示学习的知识库补全

• 作者: 汪璟玢 苏华 赖晓连
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 知识图谱 链路预测 多模态 表示学习
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 论文与报告
• 页码范围: 33-43
• 页数: 11页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16451/j.cnki.issn1003-6059.202101004

摘要

目前大多数知识图谱表示学习只考虑实体和关系之间的结构知识,性能受存储知识的限制,造成知识库补全能力不稳定,而融入外部信息的知识表示方法大多只针对某一特定的外部模态信息建模,适用范围有限.因此,文中提出带有注意力模块的卷积神经网络模型.首先,考虑文本和图像两种外部模态信息,提出三种融合外部模态信息和实体的方案,获得实体的多模态表示.再通过结合通道注意力模块和空间注意力模块,增强卷积的表现力,提高知识表示的质量,提升模型的补全能力.在多个公开的多模态数据集上进行链路预测和三元组分类实验,结果表明文中模型性能较优.