基于卷积神经网络的光流估计模型

• 作者: 丰艳 刘帅 王传旭
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 光流估计 可形变卷积 卷积神经网络 注意力机制
• 年，卷（期）: 2021,（1）
• 页码范围: 63-75
• 页数: 13页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2021.01.006

摘要

光流信息是图像像素的运动表示,现有光流估计方法在应对图像遮挡、大位移和细节呈现等复杂情况时难以保证高精度.为了克服这些难点问题,本文建立一种新型的卷积神经网络模型,通过改进卷积形式和特征融合的方式来提高估计精度.首先,加入调整优化能力更强的可形变卷积,以便于提取相邻帧图像的大位移和细节等空间特征;然后利用基于注意力机制生成特征关联层,将相邻两帧的特征进行融合,以其作为由反卷积和上采样构成的解码部分的输入,旨在克服基于特征匹配等估计光流传统方法精度低的缺点;最后将得到的估计光流通过多网络堆栈的循环优化模型实现最终的光流估计.实验表明,本文网络模型在处理遮挡、大位移和细节呈现等方面的表现优于现有方法.