集成注意力增强和双重相似性引导的多模态脑部图像配准

• 作者: 田梨梨 程欣宇 唐堃 张健 王丽会
• 来源期刊: 中国图象图形学报
• 关键词: 多模态配准 深度学习 无监督学习 集成注意力增强 双重相似性
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 磁共振图像|Magnetic Resonance Image
• 页码范围: 2219-2232
• 页数: 14页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.11834/jig.200657

摘要

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低.因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型(ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet),结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度.方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器.设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块(integrated attention augmentation module,IAAM),通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场.为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息(normalized mutual information,NMI)和基于SSC(self-similarity context)描述符的局部特征相似性共同作为损失函数训练网络.在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析.结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法.对比传统方法ANTs(advanced normalization tools)、深度学习方法voxelMorph和ADMIR(affine and deformable medical image registration),在全局灰质区域,Dice分数分别提升了3.5％,1.9％和1.5％.在全局白质区域分别提升了3.4％,1.6％和1.3％.对于局部组织结构,Dice分数分别提升了5.2％,3.1％ 和1.9％.消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2％ 和1.5％.结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力.