基于超限学习机与随机响应面方法的深度学习超参数优化算法

• 作者: 孙永泽 陆忠华
• 来源期刊: 高技术通讯
• 关键词: 超参数优化 代理模型 超限学习机(ELM) 随机响应面法 深度学习模型
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 计算机与通信技术
• 页码范围: 1165-1174
• 页数: 10页
• 字数: 7518字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2019.12.001

摘要

恰当的超参数设置是决定深度模型性能的关键因素,实现优秀高效的超参数优化算法能够提高深度学习模型的效果,提升模型超参数搜索调优的效率和速度,降低深度学习模型的应用门槛.超参数优化算法的典型代表是贝叶斯优化算法(BOA),此类基于代理模型的全局优化算法,相对随机搜索、网格搜索等简单算法理论上具备更好的优化效率.本文提出基于超限学习机(ELM)对超参数空间建立确定性代理模型,并改进随机响应面方法,实现了一种针对深度学习模型的超参数优化算法SurroOpt1.实验表明,本文提出的算法,在深度卷积网络模型超参数优化任务中,相对贝叶斯优化和TPE算法这2种最先进的已知算法,在函数求解次数相同的情况下,具备更好的模型优化效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陆忠华	中国科学院计算机网络信息中心	55	174	7.0	11.0
2	孙永泽	中国科学院计算机网络信息中心	2	2	1.0	1.0