乳腺超声双模态数据的协同约束网络

• 作者: 朱丹 杨子奇 郭颖 龚勋
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 超声造影 双分支网络 双线性融合 协同注意力 乳腺癌分类
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 超声图像
• 页码范围: 2218-2228
• 页数: 11页
• 分类号: TP391
• 语种: 中文

摘要

目的 通过深度学习对乳腺癌早期的正确诊断能大幅提高患者生存率.现阶段大部分研究者仅采用B型超声图像作为实验数据,但是B型超声自身的局限性导致分类效果难以提升.针对该问题,提出了一种综合利用B型超声和超声造影视频来提高分类精度的网络模型.方法 针对B型超声图像及造影视频双模态数据的特性设计了一个双分支模型架构.针对传统提取视频特征中仅使用单标签的不足,制定了病理多标签预训练.并设计了一种新的双线性协同机制,能更好地融合B型超声和超声造影的特征,提取其中的病理信息并抑制无关噪声.结果 为了验证提出方法的有效性,本文设计了3个实验,前两个实验分别对B型超声和超声造影进行预训练.在造影分支,使用根据医学领域设计的病理多标签进行预训练.最后,采用前两个实验的预训练模型进行第3个实验,相比单独使用B型超声图像精度提升6.5％,比单用超声造影视频精度提高7.9％.同时,在使用双模态数据里,本文方法取得了最高精度,相比排名第2的成绩提高了2.7％.结论 本文提出的协同约束网络,能对不同模态的数据进行不同处理,以提取出其中的病理特征.一方面,多模态数据确实能从不同角度展示同一个病灶区,为分类模型提供更多的病理特征,进而提高模型的分类精度.另一方面,合适的融合方式也至关重要,能最大程度地利用特征并抑制噪声.