引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

• 作者: 罗恺锴 王婷 叶芳芳
• 来源期刊: 中国图象图形学报
• 关键词: 脑肿瘤分割 卷积神经网络(CNN) 多尺度特征 注意力机制 多视角融合
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 磁共振图像|Magnetic Resonance Image
• 页码范围: 2208-2218
• 页数: 11页
• 分类号: TP391.7
• 语种: 中文
• DOI: 10.11834/jig.200584

摘要

目的 脑肿瘤核磁共振(magnetic resonance,MR)图像分割对评估病情和治疗患者具有重要意义.虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战.图像语义分割的精度取决于图像特征的提取和处理效果.传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题.对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割.方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息.结果 提出的模型在BraTS18(Multimodal Brain Tumor Segmentation Challenge 2018)提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9％、1.3％和0.6％.结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值.