神经结构搜索的研究进展综述

• 作者: 李航宇 王楠楠 朱明瑞 杨曦 高新波
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 神经结构搜索 自动化机器学习 深度学习 神经网络 规范化评估
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 模式识别与人工智能|PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE
• 页码范围: 129-149
• 页数: 21页
• 分类号: TP311
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.006306

摘要

近年来,深度神经网络(DNNs)在许多人工智能任务中取得卓越表现,例如计算机视觉(CV)、自然语言处理(NLP).然而,网络设计严重依赖专家知识,这是一个耗时且易出错的工作.于是,作为自动化机器学习(AutoML)的重要子领域之一,神经结构搜索(NAS)受到越来越多的关注,旨在以自动化的方式设计表现优异的深度神经网络模型.全面细致地回顾神经结构搜索的发展过程,进行了系统总结.首先,给出了神经结构搜索的研究框架,并分析每个研究内容的作用;接着,根据其发展阶段,将现有工作划分为4个方面,介绍各阶段发展的特点;然后,介绍现阶段验证结构搜索效果经常使用的数据库,创新性地总结该领域的规范化评估标准,保证实验对比的公平性,促进该领域的长久发展;最后,对神经结构搜索研究面临的挑战进行了展望与分析.