基于多维度和多模态信息的视频描述方法

• 作者: 丁恩杰 刘亚峰 刘忠育 郁万里
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 视频描述 多模态 迁移学习 长短期记忆网络 循环神经网络
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 专题:智慧矿山
• 页码范围: 36-43
• 页数: 8页
• 分类号: TP391.4
• 字数: 4830字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2020037

摘要

针对视频自动描述任务中的复杂信息表征问题,提出一种多维度和多模态视觉特征的提取和融合方法.首先通过迁移学习提取视频序列的静态和动态等多维度特征,并采用图像描述算法提取视频关键帧的语义信息,完成视频信息的特征表征;然后采用多层长短期记忆网络融合多维度和多模态信息,最终生成视频内容的语言描述.实验仿真表明,所提方法与目前已有方法相比,在视频自动描述任务中取得了较好的效果.