一种基于深度学习的异构多模态目标识别方法

• 作者: 刘伟荣 孟飞 胡超
• 来源期刊: 中南大学学报（自然科学版）
• 学科: 工学
• 关键词: 目标识别 深度学习 卷积神经网络 限制玻尔兹曼机 典型关联分析
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 机械工程 ? 控制科学与工程
• 页码范围: 1580-1587
• 页数: 8页
• 分类号: TP391.4
• 字数: 5826字
• 语种: 中文
• DOI: 10.11817/j.issn.1672-7207.2016.05.018

摘要

提出一种基于深度学习的异构多模态目标识别方法。首先针对媒体流中同时存在音频和视频信息的特征，建立一种异构多模态深度学习结构；结合卷积神经网络和限制波尔兹曼机的算法优点，对音频信息和视频信息分别并行处理，生成基于典型关联分析的共享特征表示，并进一步利用时间相关特性进行参数的优化。分别使用标准语音人脸库和截取的实际电影视频对算法进行实验。研究结果表明：对于这2种视频来源，所提出方法在目标识别的精度方面都有显著提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘伟荣	中南大学信息科学与工程学院	17	80	5.0	8.0
2	孟飞	中南大学信息科学与工程学院	14	160	9.0	12.0
4	胡超	中南大学信息与网络中心	25	113	7.0	10.0