基于卷积注意力机制和多损失联合的跨模态行人重识别

• 作者: 周传华 周东东 夏徐东 周子涵
• 来源期刊: 微电子学与计算机
• 学科: 工学
• 关键词: 跨模态行人重识别 深度学习 卷积注意力机制 多损失联合
• 年，卷（期）: 2022,（6）
• 所属期刊栏目: 人工智能与算法
• 页码范围: 22-30
• 页数: 8页
• 分类号: TP39
• 语种: 中文
• DOI: 10.19304/J.ISSN1000-7180.2022.0002

摘要

红外光和可见光(RGB-IR)下的跨模态行人重识别(Re-id)对于现代视频监控，尤其是夜间监控具有重要意义.现有的单模态行人重识别领域的研究成果已达到较高水平.然而，除了光照条件、人体姿势、摄像机角度等常见问题外，跨模态行人重识别问题难点主要在于同时存在模态间的巨大差异和模态内的类内变化，为此本文提出了基于卷积注意力机制和多损失联合的跨模态行人重识别方法.此方法基于双流网络结构，首先在双流网络的两支路中使用Resnet50网络前三层卷积层分别提取行人图片的浅层特征，然后嵌入卷积注意力机制模块以抑制颜色等无关信息的提取，并融合中层特征和支路骨干网络获取的最终特征提升获取特征的辨别力，最后采用双向跨模态三元组损失和身份损失联合约束双流网络，加快网络模型收敛，有效应对模态间的差异以及类内变化.实验结果表明本文提出的方法使跨模态行人重识别问题的精度得到了有效的提升.