基于高阶模式间关系的跨模态关联学习

• 作者: 康娟 汪传建
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 多媒体数据 信息查询 分层超网络 跨模态 关联学习 相似性
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 智能技术
• 页码范围: 265-270
• 页数: 6页
• 分类号: TP319
• 字数: 6386字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2020.01.043

摘要

针对多模态数据查询和基于模式之间低阶关系的查询方法存在的局限性,提出一种基于高阶模式之间关系的跨模态关联学习模型.在超网络的基础上,构建一种具有层次结构的分层超网络模型,由超网络数目等于模式数目的模式层和代表几种模式之间关系的集成层构成;经过训练的分层超网络就可以通过跨模态关联推理生成对于给定多模态查询的文本术语和视觉词关键字,实现多模态查询.基于大量带有图像文章的实验结果表明,提出模型可以提高生成关键字的相似性,生成文本术语,成功检索出具有小部分信息的文章.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	康娟	石河子大学信息科学与技术学院	14	23	3.0	4.0
2	汪传建	石河子大学信息科学与技术学院	26	81	6.0	8.0