基于自适应学习率的深度信念网设计与应用

• 作者: 乔俊飞 李晓理 柴伟 王功明 韩红桂
• 来源期刊: 自动化学报
• 关键词: 深度信念网 自适应学习率 对比差度 收敛速度 性能分析
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 论文与报告
• 页码范围: 1339-1349
• 页数: 11页
• 字数: 8140字
• 语种: 中文
• DOI: 10.16383/j.aas.2017.c160389

摘要

针对深度信念网(Deep belief network,DBN)预训练耗时长的问题,提出了一种基于自适应学习率的DBN(Adap-tive learning rate DBN,ALRDBN).ALRDBN将自适应学习率引入到对比差度(Contrastive divergence,CD)算法中,通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法,通过网络性能分析给出学习率变化系数的范围.最后,通过一系列的实验对所设计的ALRDBN进行测试,仿真实验结果表明,ALRDBN的收敛速度得到了提高且预测精度也有所改善.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	乔俊飞	北京工业大学信息学部	181	1883	22.0	31.0
3	韩红桂	北京工业大学信息学部	73	706	16.0	21.0
5	柴伟	北京工业大学信息学部	11	191	6.0	11.0
7	王功明	北京工业大学信息学部	4	39	3.0	4.0
15	李晓理	北京工业大学信息学部	14	56	5.0	7.0