面向深度学习的多模态融合技术研究综述

• 作者: 何俊 张彩庆 张德海 李小珍
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 深度学习 多模态 模态融合 模态对齐 多核学习 图像模型
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 热点与综述
• 页码范围: 1-11
• 页数: 11页
• 分类号: TP391.1
• 字数: 8574字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0057370

摘要

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展.在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术.重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张彩庆	云南大学外国语学院	2	0	0.0	0.0
2	李小珍	昆明学院信息工程学院	12	4	1.0	1.0
3	张德海	云南大学软件学院	11	68	4.0	8.0
4	何俊	昆明学院信息工程学院	6	9	2.0	2.0