基于X-Linear和语义嵌入的视频描述算法

• 作者: 李亚杰 关胜晓 倪长好
• 来源期刊: 信息技术与网络安全
• 关键词: 视频描述 语义嵌入 X-Linear注意力 XLSNet
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 人工智能|Artificial Intelligence
• 页码范围: 45-51
• 页数: 7页
• 分类号: TP183
• 语种: 中文
• DOI: 10.19358/j.issn.2096-5133.2021.02.008

摘要

注意力机制和视频语义嵌入使得视频描述任务取得了显著的提升,为更好地利用时序动态特征和语义信息,提出一种基于X-Linear的语义嵌入视频描述算法(X-Linear Semantic Embedding Network,XLSNet).该算法以基于编码解码器网络为基础,使用X-Linear注意力模块对视频特征进行编码,该模块使用双线性池化来增加视频时序特征的高阶交互,最终提取丰富的时序动态特征;为充分利用视频语义信息,使用语义嵌入的GRU和X-Linear作为解码器对视频描述进行生成.为防止过拟合现象,对解码器的GRU使用了层归一化和变分Dropout.所提出的算法仅仅使用了视频帧特征,在公开视频描述数据集MSVD上取得了很好的效果.