非饱和区扩展的RNN算法优化

• 作者: 张尧 沈海斌
• 来源期刊: 传感器与微系统
• 学科: 工学
• 关键词: 循环神经网络 长短时记忆网络 激活函数
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 研究与探讨
• 页码范围: 41-43
• 页数: 3页
• 分类号: TP301.6|TN911
• 字数: 1613字
• 语种: 中文
• DOI: 10.13873/J.1000-9787(2018)03-0041-03

摘要

针对长短时记忆网络(LSTM)型循环神经网络(RNN)收敛速度慢,提出了扩展激活函数非饱和区的RNN算法优化.针对LSTM型RNN的训练过程收敛速度慢的原因以及激活函数的性质,提出了加快RNN训练过程收敛的解决方法.通过字符级语言模型对优化方法进行了验证,结果表明:非饱和区扩展的RNN算法优化有效地加快了RNN训练过程的收敛.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈海斌	浙江大学超大规模集成电路设计研究所	139	832	13.0	21.0
2	张尧	浙江大学超大规模集成电路设计研究所	11	73	4.0	8.0