基于深度迁移学习的视频描述方法研究

• 作者: 张丽红 曹刘彬
• 来源期刊: 测试技术学报
• 学科: 工学
• 关键词: 深度学习 迁移学习 视频描述生成 深度域适应 递归神经网络
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 数据采集与图像处理
• 页码范围: 443-449
• 页数: 7页
• 分类号: TP391.4
• 字数: 4327字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7449.2018.05.013

摘要

在视频描述框架中引入语义特征可以增强视频描述,不同域中提取到的语义特征的融合程度对视频描述的准确率会产生重要的影响.针对这一问题,构建了一个新的视频描述模型.该模型在现有的视频描述框架的基础上,利用迁移学习中的深度域适应方法,实现图像与帧流中语义特征的深度融合,将融合语义特征作为视频描述框架的输入,再结合视频输入与递归神经网络,生成视频的自然语言描述.在微软视频描述数据集(Microsoft Video Description Dataset,MSVD)上的实验结果表明,与现有的7种模型相比较,在视频描述框架中引入语义特征显著提高了视频描述的准确率,并且利用深度域适应方法融合不同域中的语义特征,可以进一步提升视频描述的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张丽红	山西大学物理电子工程学院	44	191	8.0	12.0
2	曹刘彬	山西大学物理电子工程学院	2	2	1.0	1.0