跨模态行人再识别的协同学习方法

• 作者: 陈坤峰 潘志松 王家宝 施蕾 张锦 焦珊珊
• 来源期刊: 计算机工程与应用
• 关键词: 行人再识别 跨模态 协同学习 精细化特征 多源特征 信息融合
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 模式识别与人工智能|Pattern Recognition and Artificial Intelligence
• 页码范围: 115-125
• 页数: 11页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2102-0033

摘要

跨模态行人再识别是实现全天候智能视频监控系统的一项关键技术.该技术旨在匹配某一特定身份行人在不重叠摄像头场景下的可见光图像和红外图像,因而面临着巨大的类内变化和模态差异.现有方法难以较好地解决这两大困难,很大程度上是由于欠缺了对特征判别能力的有效挖掘和对多源异质信息的充分利用.鉴于以上不足,使用协同学习方法设计了一个精细化多源特征协同网络,提取多种互补性特征进行信息融合,以提升网络的学习能力.从骨干卷积网络中提取多尺度和多层次特征,实现精细化特征协同学习,以增强特征的判别能力来应对类内变化.设计了模态共有与特有特征协同模块和跨模态人体语义自监督模块,达到多源特征协同学习的目的,以提高多源异质图像信息的利用率,进而解决模态差异.在SYSU-MM01和RegDB数据集上验证了该方法的有效性和先进性.