基于结构保持对抗网络的跨模态实体分辨

• 作者: 吕国俊 常宸 曹建军 翁年凤 郑奇斌
• 来源期刊: 南京大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据质量 跨模态实体分辨 无监督学习 对抗学习 K近邻 联合注意力
• 年，卷（期）: 2020,（2）
• 页码范围: 197-205
• 页数: 9页
• 分类号: TP311
• 字数: 5659字
• 语种: 中文
• DOI: 10.13232/j.cnki.jnju.2020.02.005

摘要

跨模态实体分辨旨在从不同模态的数据中找到对同一实体的不同客观描述.常用的跨模态实体分辨方法通过将不同模态数据映射到同一空间中进行相似性度量,大多通过使用类别信息建立映射前后的语义联系,却忽略了对跨模态成对样本信息的有效利用.在真实数据源中,给大量的数据进行标注耗时费力,难以获得足够的标签数据来完成监督学习.对此,提出一种基于结构保持的对抗网络跨模态实体分辨方法(Structure Maintenance based Adversarial Network,SMAN),在对抗网络模型下构建模态间的K近邻结构损失,利用模态间成对信息在映射前后的结构保持学习更一致的表示,引入联合注意力机制实现模态间成对样本信息的对齐.实验结果表明,在不同数据集上,SMAN和其他无监督方法和一些典型的有监督方法相比有更好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曹建军	国防科技大学第六十三研究所	15	32	2.0	5.0
2	常宸	陆军工程大学指挥控制工程学院	3	0	0.0	0.0
3	吕国俊	陆军工程大学指挥控制工程学院	3	0	0.0	0.0
4	郑奇斌	陆军工程大学指挥控制工程学院	7	0	0.0	0.0
5	翁年凤	国防科技大学第六十三研究所	4	0	0.0	0.0