MIRGAN:一种基于GAN的医学影像报告生成模型

• 作者: 张俊三 程俏俏 万瑶 朱杰 张世栋
• 来源期刊: 山东大学学报（工学版）
• 关键词: 图像理解任务 医学影像报告生成 共同注意力机制 生成对抗网络 强化学习
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 机器学习与数据挖掘|Machine Learning&Data Mining
• 页码范围: 9-18
• 页数: 10页
• 分类号: TP391
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2020.227

摘要

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务.针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network,MIRGAN)模型.采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分别生成对应于这些区域的描述.融合生成对抗网络(generative adversarial network,GAN)和强化学习(reinforcement learning,RL)方法优化生成模型的性能使其输出更高质量的报告.试验结果验证了 MIRGAN模型的有效性.