自注意力机制和随机森林回归的视频摘要生成

• 作者: 李雷霆 武光利 郭振洲
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 计算机视觉 视频摘要 自注意力机制 长短期记忆网络 随机森林回归
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 模式识别与人工智能|Pattern Recognition and Artificial Intelligence
• 页码范围: 198-205
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2104-0388

摘要

视频摘要是通过生成关键帧或片段来达到压缩视频的效果,能够在概括视频主要内容的基础上极大缩短观看时间,在视频快速浏览与检索领域应用广泛.现有方法大多只基于图像内容进行探索,忽略了视频具有时序的特点,且模型对波动数据学习能力较差,导致生成的摘要缺乏时间连贯性和代表性.提出了一个以编码器-解码器为框架的视频摘要网络.具体来说,编码部分由卷积神经网络提取特征,通过自注意力机制提升对关键特征的权重,而解码部分由融合了随机森林的双向长短期记忆网络构成,通过调整随机森林和双向长短期记忆网络在损失函数中所占比例,使模型具有较强的稳定性和预测准确率.实验在两个数据集上与其他七种方法进行了比较,综合实验结果证明了方法的有效性与可行性.提出了自注意力机制和随机森林回归的视频摘要网络,利用自注意力机制完成对特征的优化,将双向长短期记忆网络与随机森林结合,提升模型的稳定性与泛化性,有效降低损失值,使得生成的视频摘要更符合用户视觉特性.