视觉Transformer与多特征融合的脑卒中检测算法

• 作者: 赵琛琦 王华虎 赵涓涓 冀伦文 王麒达 李慧芝 赵紫娟
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 中医望诊 特征提取 特征融合 端到端 Transformer
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 中医图像|Traditional Chinese Medical Image
• 页码范围: 923-934
• 页数: 12页
• 分类号: TP399
• 语种: 中文

摘要

目的 急性缺血性卒中是最常见的脑卒中类型,具有发病率高、死亡率高和致残率高的特点.患者发病前症状不明显、发病急骤以及溶栓治疗时间窗窄等问题导致其成为临床上的高危疾病.中医望诊可以在疾病发展早期,通过观察患者形、色、气和神的变化,对患者病情进行诊断和预测,达到"治未病"的目的,与人工智能技术相结合,可以解决缺乏客观和定量评价标准的问题.因此,通过中医望诊中的脸部和手部图像,充分利用两种图像的颜色、纹理等特征以及二者之间的关系特征,本文提出一种基于序列自注意力网络的急性缺血性卒中辅助诊断方法.方法 对脸部和手部图像进行山根和大鱼际处的感兴趣区域提取.采用YCbCr颜色空间和灰度共生矩阵,提取区域图像的颜色和纹理特征,将颜色特征和纹理特征进行融合并将其与原图像特征相结合,得到的特征图序列化地输入到Transformer模型中,进一步学习高层次的空间特征和注意力特征.将模型输出结果输入到多层感知机中,从而实现急性缺血性卒中的检测.结果 在收集的急性缺血性卒中患者数据集上进行实验,结果表明,提出的基于序列自注意力网络的方法取得了83.57％ 的准确率,获得较高性能,在速度和便携性上具有很大的优势.结论 该方法采用端到端的学习方式,能够有效解决目前临床诊断因医疗资源的差异而受到影响的问题,对于初步判断患者疾病具有指导性的作用,为诊断急性缺血性卒中提供了一种新思路和新方法.