特征金字塔融合的多模态行人检测算法

• 作者: 孙俊 毛力 童靖然
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 行人检测 多模态 特征金字塔 特征融合
• 年，卷（期）: 2019,（19）
• 所属期刊栏目: 图形图像处理
• 页码范围: 214-222
• 页数: 9页
• 分类号: TP391
• 字数: 8033字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1812-0352

摘要

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题,提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法.使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征,根据ResNet(Residual Net)的阶段性特征图谱搭建特征金字塔网络,生成每个模态的特征金字塔,并将两个模态的特征金字塔进行逐层融合.选择深度学习通用目标检测算法——Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题.在特征金字塔融合阶段,针对级联融合和较大值融合容易忽略弱特征,无法有效融合互补特征的问题,提出了一种锐化特征的特征金字塔融合方法,根据阈值强化突出强特征,互补叠加弱特征,有效利用每个模态的特征,进一步提高模型的检测效果.实验结果表明,特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题,在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙俊	江南大学江苏省模式识别与计算智能工程实验室	186	1552	21.0	30.0
2	毛力	江南大学江苏省模式识别与计算智能工程实验室	64	283	8.0	12.0
3	童靖然	江南大学江苏省模式识别与计算智能工程实验室	1	1	1.0	1.0