深层神经网络预训练的改进初始化方法*

• 作者: 周佳俊 欧智坚
• 来源期刊: 电讯技术
• 学科: 工学
• 关键词: 语音识别 深层神经网络 预训练 初始化 激励函数
• 年，卷（期）: 2013,（7）
• 页码范围: 895-898
• 页数: 4页
• 分类号: TN912.3
• 字数: 3012字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-893x.2013.07.014

摘要

在基于神经网络的语音识别任务中，提出根据激励函数二阶导数优化网络预训练阶段中权值初始化的方法。利用激励函数的非线性区域和自变量呈高斯分布的特性，寻找权值分布的较优方差以提升训练速度。通过比较同一学习速率下不同初始化数值对收敛速度的影响，发现此种方法可以加快预训练阶段的速度，提升神经网络训练的效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	欧智坚	清华大学电子工程系	13	87	6.0	9.0
2	周佳俊	清华大学电子工程系	1	10	1.0	1.0