基于深度双向模型和特征融合的视频转文字研究

• 作者: 史景伦 宁培阳 张荣锋 邱威
• 来源期刊: 计算机应用研究
• 关键词: 视频转文字 深度双向模型 哈尔特征 特征融合 卷积神经网络
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 图形图像技术
• 页码范围: 317-320
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.03.0488

摘要

自动生成视频的自然语言描述是一个非常具有挑战性的研究热点.基于深度BLSTM模型和CNN特征的方法,能够学习到视频序列的全局时空关联信息.针对视频转文字时面临的准确率低以及计算复杂度高的问题,提出了深度BMGU模型,从而在保持深度BLSTM模型结构优势的同时提高计算效率;还将原始视频帧的CNN特征与经过Haar特征预处理后的视频的CNN特征进行后期融合,从而增加了训练特征的多样性,进而提升了视频转自然语言的实验效果.在M-VAD和MPII-MD数据集中,相对原S2VT模型,所提方法分别将METEOR分数从6.7和7.1提高到8.0和8.3.结果表明所提方法有效地改善了原S2VT模型的准确率和语言描述效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张荣锋	华南理工大学电子与信息学院	3	7	1.0	2.0
2	宁培阳	华南理工大学电子与信息学院	3	2	1.0	1.0
3	史景伦	华南理工大学电子与信息学院	9	65	3.0	8.0
4	邱威	华南理工大学电子与信息学院	2	1	1.0	1.0