多阶段边界参考网络的动作分割

• 作者: 毛琳 曹哲 杨大伟 张汝波
• 来源期刊: 光学精密工程
• 学科: 工学
• 关键词: 视频动作分割 时间卷积网络 视频动作边界 未裁剪视频
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 信息科学|Information Sciences
• 页码范围: 340-349
• 页数: 10页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.37188/OPE.20223003.0340

摘要

针对现有动作分割算法中过分割问题导致预测错误、造成分割质量下降的现象,提出一种可调视频动作边界信息作为参考的多阶段参考网络,在基于多阶段时间卷积网络的主干网络中,为每个阶段独立引入视频动作边界信息作为参考.各阶段使用相同的边界信息会使模型固化,为使主干网络能够调整参与各阶段输出计算的边界值,对不同样本区分处理,提出多层并行卷积组成的权重调节单元.多阶段参考网络由于利用可调边界信息作为参考,按照时序平滑处理各阶段输出,能显著减少过分割错误.实验表明,该方法在三个视频动作分割数据集GTEA,50Salads和Breakfast中的性能优于现存同类方法,与BCN(Boundary-Aware Cascade Networks)算法相比,分割编辑分数平均提升1.7％,准确率与召回率的调和分数平均提升1.5％.