多模态深度学习综述

• 作者: 丁熙浩 刘建伟 罗雄麟
• 来源期刊: 计算机应用研究
• 关键词: 多模态 深度学习 多神经网络 多模态表示 多模态传译 多模态融合 多模态对齐
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 综述评论
• 页码范围: 1601-1614
• 页数: 14页
• 分类号: TP181
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.12.0857

摘要

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法.具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型.最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势.