多模态深度学习综述

• 作者: 孙影影 朱昊宇 贾振堂
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 多模态学习 多模态应用 多模态融合 共享表示空间
• 年，卷（期）: 2020,（21）
• 所属期刊栏目: 热点与综述
• 页码范围: 1-10
• 页数: 10页
• 分类号: TP181
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2002-0342

摘要

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式.多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示.多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力.目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习.着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题:匹配和分类、对齐表示学习方面给出了说明.对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势.