基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割

• 作者: 王旭初 刘辉煌 牛彦敏
• 来源期刊: 光学学报
• 关键词: 图像处理 语义分割 加权Gabor卷积网络 宽残差模块 多尺度特征融合 室内RGB-D图像
• 年，卷（期）: 2020,（19）
• 所属期刊栏目: 图像处理|Image Processing
• 页码范围: 44-56
• 页数: 13页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.3788/AOS202040.1910001

摘要

针对室内场景下光照变化、物体相互遮挡以及类别复杂等问题,提出了一种基于双流加权Gabor卷积网络融合的彩色-深度(RGB-D)图像语义分割方法.为了获得方向和尺度不变性特征,设计了一种加权Gabor方向滤波器用于构建深度卷积网络(DCN),提取对方向和尺度变化具有适应性的特征信息.为了构建轻量级特征提取网络,采用宽残差-加权Gabor卷积网络分别提取彩色和深度双流图像特征,并利用金字塔池化模块对提取的深度特征进行多尺度融合以丰富图像上下文信息.对所提语义分割方法在NYUDv2数据集上进行实验,分别设置不同的对比方法.结果 表明所提方法具有合理性和有效性,并在分割效果上具有一定的竞争性.