深度学习应用技术研究

• 作者: 李前 桂小林 毛勇华 贺兴时
• 来源期刊: 计算机应用研究
• 关键词: 受限玻尔兹曼机 深度神经网络 梯度下降 验证集 监督学习 贪婪层训练方法 深度学习 深度学习层次结构
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 综述评论
• 页码范围: 3201-3205
• 页数: 5页
• 分类号: TP181
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.11.001

摘要

针对深度学习应用技术进行了研究性综述。详细阐述了RBM（受限玻尔兹曼机）逐层预训练后再用BP（反向传播）微调的深度学习贪婪层训练方法，对比分析了BP算法中三种梯度下降的方式，建议在线学习系统采用随机梯度下降，静态离线学习系统采用随机小批量梯度下降；归纳总结了深度学习深层结构特征，并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点，并推荐ReLU（rectified linear units）激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景，归纳总结了当前深度学习可能的发展方向。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	桂小林	西安交通大学电子与信息工程学院	100	1867	21.0	41.0
2	贺兴时	西安工程大学理学院	136	975	16.0	25.0
3	毛勇华	西安工程大学理学院	3	70	1.0	3.0
7	李前	西安工程大学理学院	3	85	3.0	3.0