基于多特征的视频描述生成算法研究

• 作者: 曹磊 万旺根 侯丽
• 来源期刊: 电子测量技术
• 关键词: 视频描述 多特征 长短期记忆网络 注意力机制
• 年，卷（期）: 2020,（16）
• 所属期刊栏目: 理论与算法|Theory and Algorithms
• 页码范围: 99-103
• 页数: 5页
• 分类号: TP391.4|TP183
• 语种: 中文
• DOI: 10.19651/j.cnki.emt.2004457

摘要

针对视频描述生成任务,提出一种基于多特征的描述生成算法.分析和提取视频片段的视觉信息和语音信息,经融合后形成丰富的视频语义表达.在基于长短期记忆网络构成的编解码框架中进行编解码操作,保留捕获各视频帧序列特征的时序结构,通过嵌入注意力机制,使得整个模型有能力关注重要信息出现的时刻,最终生成视频描述语言更加准确丰富.所提出的方法在公开的视频描述数据集MSR-VTT进行测试,测试各种特征模型生成描述语句的准确度,与基准方法相比较,取得了较好的效果.