基于注意力感知和语义感知的RGB-D室内图像语义分割算法

• 作者: 段立娟 孙启超 乔元华 陈军成 崔国勤
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: RGB-D语义分割 卷积神经网络 多模态融合 注意力模型 深度学习
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 智能信息处理
• 页码范围: 275-291
• 页数: 17页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2021.00275

摘要

近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出一种基于注意力感知和语义感知的网络模型ASNet(Attention-aware and Semantic-aware Network).通过引入注意力感知多模态融合模块和语义感知多模态融合模块,有效地融合多层次的RGB特征和深度特征.其中,在注意力感知多模态融合模块中,本文设计了一种跨模态注意力机制,RGB特征和深度特征利用互补信息相互指导和优化,从而提取富含空间位置信息的特征表示.另外,语义感知多模态融合模块通过整合语义相关的RGB特征通道和深度特征通道,建模多模态特征之间的语义依赖关系,提取更精确的语义特征表示.本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码-解码网络模型中.同时,网络在训练时采用深层监督策略,在多个解码层上进行监督学习.在公开数据集上的实验结果表明,本文算法优于现有的RGB-D图像语义分割算法,在平均精度和平均交并比上分别比近期算法提高了1.9％和1.2％.