基于超广角荧光素眼底血管造影图像行糖尿病视网膜病变分期的多模态深度学习模型研究

• 作者: 范雯 王晓玲 马枭 袁松涛 陈长征 纪则轩
• 来源期刊: 中华眼底病杂志
• 关键词: 人工智能 神经网络（计算机） 荧光素血管造影术 糖尿病视网膜病变 病变分级 病变定位
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 人工智能研究
• 页码范围: 139-145
• 页数: 7页
• 语种: 中文
• DOI: 10.3760/cma.j.cn511434-20211231-00736

摘要

目的:应用多模态深度学习模型对糖尿病视网膜病变（DR）超广角荧光素眼底血管造影（UWFA）图像进行病变程度的自动分级。方法:回顾性研究。2015年至2020年于武汉大学人民医院眼科中心就诊并接受UWFA检查的DR患者297例399只眼的798张图像作为模型的训练集和测试集。其中，无视网膜病变、非增生型DR （NPDR）、增生型DR （PDR）分别为119、171、109只眼。通过联合优化CycleGAN和卷积神经网络（CNN）分类器一种图像级监督深度学习模型，定位和评估DR患眼UWFA早期和晚期正位图像中的荧光素渗漏区和无灌注区。使用改进后的CycleGAN将带有病变的异常图像转换为去除病变的正常图像，得到含有病变区域的差分图像；使用CNN分类器对差分图像进行分类以获得预测结果。采用五折交叉检验评估模型的分类准确率。对差分图像显示的标志物面积进行量化分析，观察缺血指数和渗漏指数与DR严重程度的相关性。结果:生成图像基本去除了所有病变区域，同时保留了正常血管结构；差分图像直观揭示了生物标志物的分布；热力图标示出渗漏区域，定位基本与原图中病变区域一致。五折交叉检验结果显示，模型的平均分类正确率为0.983。进一步对标志物面积量化分析结果显示，缺血指数和渗漏指数与DR严重程度均呈显著正相关（ β=6.088、10.850， P<0.001）。 结论:构建的多模态联合优化模型可以准确对NPDR和PDR进行分类并精确定位潜在的生物标志物。