注意力机制引导的多模态心脏图像分割

• 作者: 周子奇 杨琬琪 郭心娜
• 来源期刊: 南京师大学报（自然科学版）
• 学科: 工学
• 关键词: 注意力机制 多模态心脏图像分割 半孪生网络 跨模态图像生成
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 全国机器学习会议论文专栏
• 页码范围: 27-31,41
• 页数: 6页
• 分类号: TP391.4
• 字数: 3810字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-4616.2019.03.004

摘要

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨琬琪	南京师范大学计算机科学与技术学院	2	2	1.0	1.0
2	周子奇	南京师范大学计算机科学与技术学院	1	0	0.0	0.0
3	郭心娜	南京师范大学计算机科学与技术学院	1	0	0.0	0.0