模态自适应权值学习机制下的多光谱行人检测网络

• 作者: 陈莹 朱宇
• 来源期刊: 光学精密工程
• 关键词: 行人检测 多模态信息 权值学习 自适应融合 深度学习
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 信息科学|Information Sciences
• 页码范围: 2700-2709
• 页数: 10页
• 分类号: TP391
• 语种: 中文
• DOI: 10.37188/OPE.20202812.2700

摘要

针对目前基于红外与可见光模态融合的行人检测方法难以自适应外界环境变化的问题,提出基于多模态信息融合权值学习的行人检测网络.首先,区别于目前大多数研究采用的两模态直接堆叠融合方法,权值学习融合网络考虑两种模态在不同环境条件下对行人检测任务的不同贡献比重,通过双流交互学习二者差异,然后根据各模态特征的当前特性自主获得各模态特征的相应权重,进行加权融合得到融合特征,最后基于融合特征生成新的特征金字塔,并改变先验框的尺寸和密集度以丰富行人先验信息,完成行人检测任务.实验结果表明:在Kaist多光谱行人检测数据集上获得26.96％的平均漏检率,相比目前采用直接堆叠的最优方法以及baseline方法分别降低了2.77％和27.84％,因此自适应权值融合红外和可见光两种模态的信息可以有效获得互补的模态信息以自适应外界环境变化,大幅提升行人检测的性能.