深度神经网络结构搜索综述

• 作者: 唐浪 李慧霞 颜晨倩 郑侠武 纪荣嵘
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 人工智能 计算机视觉 深度神经网络 强化学习 进化算法 神经网络结构搜索(NAS)
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 学者观点
• 页码范围: 245-264
• 页数: 20页
• 分类号: TP37
• 语种: 中文

摘要

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计.神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错.为此,自动化的神经网络结构搜索成为研究热点.神经网络结构搜索(neural architecture search,NAS)主要由搜索空间、搜索策略与性能评估方法3部分组成.在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构.根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构.在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等.在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间.与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能.在Ima-geNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30％的计算量,并且top-1分类精度提升了3.2％;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比(mean intersection over union,mIOU),同时减小一半以上的计算量.神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势.