多模态特征融合与多任务学习的特种视频分类

• 作者: 吴晓雨 王生进 顾超男
• 来源期刊: 光学精密工程
• 学科: 工学
• 关键词: 特种视频识别 特征提取 多模态特征融合 语义一致性度量 多任务学习
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 信息科学
• 页码范围: 1177-1186
• 页数: 10页
• 分类号: TP391.4
• 字数: 7939字
• 语种: 中文
• DOI: 10.3788/OPE.20202805.1177

摘要

特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控.针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法.首先,提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征;然后,构建具有语义保持的共享特征子空间,以实现音视频多种模态特征的融合;最后,提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架,设计了对应的损失函数,实现了端到端的特种视频智能识别.实验结果表明,本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97％和39.76％,优于已有研究.结果 证明了该算法的有效性,有助于提升特种视频监控的智能化水平.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王生进	清华大学电子工程系	32	235	6.0	15.0
2	吴晓雨	中国传媒大学信息与通信工程学院	14	104	6.0	10.0
3	顾超男	中国传媒大学信息与通信工程学院	1	0	0.0	0.0