流形正则化约束的图像语义分割

• 作者: 肖振久 宗佳旭 兰海 魏宪 唐晓亮
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 深度学习 语义分割 残差网络(ResNet) 上下文信息捕捉 流形正则化
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 图像分析和识别|Image Analysis and Recognition
• 页码范围: 1204-1215
• 页数: 12页
• 分类号: TP391.4
• 语种: 中文

摘要

目的 在基于深度学习的图像语义分割方法中,损失函数通常只考虑单个像素点的预测值与真实值之间的交叉熵并对其进行简单求和,而引入图像像素间的上下文信息能够有效提高图像的语义分割的精度,但目前引入上下文信息的方法如注意力机制、条件随机场等算法需要高昂的计算成本和空间成本,不能广泛使用.针对这一问题,提出一种流形正则化约束的图像语义分割算法.方法 以经过数据集ImageNet预训练的残差网络(resid-ual network,ResNet)为基础,采用DeepLabV3作为骨架网络,通过骨架网络获得预测分割图像.进行子图像块的划分,将原始图像和分割图像分为若干大小相同的图像块.通过原始图像和分割图像的子图像块,计算输入数据与预测结果所处流形曲面上的潜在几何约束关系.利用流形约束的结果优化分割网络中的参数.结果 通过加入流形正则化约束,捕获图像中上下文信息,降低了网络前向计算过程中造成的本征结构的损失,提高了算法精度.为验证所提方法的有效性,实验在Cityscapes和PASCAL VOC 2012(pattern analysis,statistical modeling and computa-tional learning visual object classes)两个数据集上进行.在Cityscapes数据集中,精度值为78.0％,相比原始网络提高了0.5％;在PASCAL VOC 2012数据集中,精度值为69.5％,相比原始网络提高了2.1％.同时,在Cityscapes数据集中进行对比实验,验证了算法的有效性,对比实验结果证明提出的算法改善了语义分割的效果.结论 本文提出的语义分割算法在不提高推理网络计算复杂度的前提下,取得了较好的分割精度,具有极大的实用价值.