一种交替变换更新层数的 DBN-DNN 快速训练方法

• 作者: 李春升 李轩
• 来源期刊: 计算机应用研究
• 关键词: 语音识别 DBN-DNN 快速训练算法
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 网络与通信技术
• 页码范围: 843-847
• 页数: 5页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.03.046

摘要

针对语音识别中 DBN-DNN 训练时间过长的问题，提出了一种 DBN-DNN 网络的快速训练方法。该方法从减少误差反向传播计算量的角度出发，在更新网络参数时，通过交替变换网络更新层数来实现加速；同时，也设计了逐渐减少网络全局更新频率和逐渐减少网络更新层数两种实施策略。这种训练方法可以与多种 DNN加速训练算法相结合。实验结果表明，在不影响识别率的前提下，该方法独立使用或与随机数据筛选（stochastic data sweeping，SDS）算法、ASGD 算法等 DNN 加速训练算法相结合，都可以取得较为理想的加速结果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李春升	北京航空航天大学电子信息工程学院	100	1008	16.0	28.0
2	李轩	北京航空航天大学电子信息工程学院	11	57	4.0	7.0