基于人群的神经网络超参数优化的研究

• 作者: 刘晓燕 刘瑶 朱汇龙
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: PBT 异步优化 时间表 超参数优化
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 研究与探讨
• 页码范围: 97-102
• 页数: 6页
• 分类号: TP391
• 字数: 3842字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2018.11.022

摘要

神经网络主导了现代机器学习领域,但是他们的训练和成功仍然受到超参数经验选择的敏感影响,例如模型架构,损失函数和优化算法.文中介绍基于人群训练(Population Based Training简称PBT),一种简单的异步优化算法,有效地利用固定的计算预算来优化模型以及其超参数群体的最大化性能.重要的是,PBT发现了一个超参数设置的时间表,而不是遵循一般的次优策略,试图找到一个固定的集合用于整个训练过程.通过对典型分布式超参数训练框架的小步幅修改,文中的方法可以对模型进行稳健可靠的训练.文中展示了PBT在深度强化学习问题上的有效性,通过对一组超参数进行优化,显示了更快的时钟收敛和更高的代理性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘瑶	中国科学院计算技术研究所	9	64	3.0	8.0
2	刘晓燕	昆明理工大学信息工程与自动化学院	68	129	6.0	9.0
3	朱汇龙	昆明理工大学信息工程与自动化学院	10	11	2.0	3.0