长短时记忆网络的自由体操视频自动描述方法

• 作者: 张洪博 杜吉祥 汪冠鸿 贺凤
• 来源期刊: 华侨大学学报（自然科学版）
• 关键词: 长短时记忆网络 注意力机制 自由体操 自动描述
• 年，卷（期）: 2020,（6）
• 页码范围: 808-815
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.11830/ISSN.1000-5013.201911047

摘要

提出一种长短时记忆网络的自由体操视频自动描述方法.在视频描述模型S2VT中,通过长短时记忆网络学习单词序列和视频帧序列之间的映射关系.引入注意力机制对S2VT模型进行改进,增大含有翻转方向、旋转度数、身体姿态等关键帧的权重,提高自由体操视频自动描述的准确性.建立自由体操分解动作数据集,在数据集MSVD及自建数据集上进行3种模型的对比实验,并通过计划采样方法消除训练解码器与预测解码器之间的差异.实验结果表明:文中方法可提高自由体操视频自动描述的精度.