密集帧率采样的视频标题生成

• 作者: 李金忠 汤鹏杰 谭云兰 谭彬
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 视频 标题生成 GoogLeNet ResNet 长短时记忆(LSTM) 密集帧率采样
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 981-993
• 页数: 13页
• 分类号: TP391
• 字数: 10612字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1705058

摘要

使用固定时间间隔取帧的方式用于视频标题生成,易导致多种静态或动态信息丢失,使得生成的句子质量难以提高.针对这一问题,提出了一种使用密集帧率采样的标题生成方法(dense frame rate sampling based captioning model,DFS-CM),将视频分为多个长度统一的片段,提取片段中所有视频帧的深度CNN (convolutional neural network)特征,然后使用均值或最大值方法,降低了特征数量,增强了特征的稀疏程度;同时,还改善了模型的训练策略,增强了模型的稳定性和泛化能力.最后在S2VT框架的基础上,使用GoogLeNet和ResNet-152两种CNN模型,对所提方法进行了验证.在Youtube2Text数据集上的实验结果表明,无论是采用均值特征还是最大值特征,其模型性能与基准模型相比均得到了改善,尤其是使用ResNet-152和最大值方式,其B@4和CIDEr分别达到了47.1%和34.1%.