面向AR-HUD的多任务卷积神经网络研究

• 作者: 冯明驰 卜川夏 萧红
• 来源期刊: 仪器仪表学报
• 关键词: 增强现实抬头显示器 多任务卷积神经网络 目标检测 语义分割
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 视觉检测与图像测量|Visual inspection and Image Measurement
• 页码范围: 241-250
• 页数: 10页
• 分类号: TH85|TP391
• 语种: 中文
• DOI: 10.19650/j.cnki.cjsi.J2107395

摘要

汽车上AR-HUD已经得到了广泛应用,其环境感知模块需完成目标检测、车道分割等多个任务,但是多个深度神经网络同时运行会消耗过多的计算资源.针对这一问题,本文提出一种应用于AR-HUD环境感知的轻量级多任务卷积神经网络DYPNet,其以YOLOv3-tiny框架为基础,融合金字塔池化模型、DenseNet的密集连接结构、CSPNet网络模型的思想,在精度未下降的情况下大幅减少了计算资源消耗.针对该神经网络难以训练的问题,提出了一种基于动态损失权重的线性加权求和损失函数,使子网络损失值趋于同步下降,且同步收敛.经过在公开数据集BDD100K上训练及测试,结果表明该神经网络的检测mAP和分割mIOU分别为30％,77.14％,使用TensorRt加速后,在Jetson TX2上已经可以达到15 frame.s1左右,已达到AR-HUD的应用要求,并成功应用于车载AR-HUD.