前馈神经网络导数特性分析

• 作者: 杨华舒 桂跃 苏志敏 董梦思 魏海
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 前馈神经网络 偏导数 线性激活函数 精度 网络体系结构 网络输出
• 年，卷（期）: 2014,（7）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 207-211
• 页数: 5页
• 分类号: TP18
• 字数: 3398字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.07.041

摘要

为分析前馈神经网络输出量的一阶、二阶偏导数特性，从一层网络结构入手，推导网络输出量的一阶偏导数，应用链式求导法则，推导多层网络输出量的一阶、二阶偏导数的计算公式。在此基础上推导网络的三阶偏导数，并针对二层结构网络，在其输出层激活函数为线性函数时，推导出该网络对输入量的高阶偏导数计算公式。实例分析结果表明，前馈神经网络一阶、二阶偏导数值的精度比网络输出值的精度要低，尤其是在区间的边界上有时会出现较大的偏差。网络的一阶、二阶偏导数值的精度也会随着隐含层神经元数量的增加明显降低，在基本相同的网络训练精度下，隐含层神经元较多的网络比神经元少的网络导数特性差。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	苏志敏	昆明理工大学电力工程学院	28	80	4.0	7.0
2	杨华舒	昆明理工大学国土资源工程学院	59	233	8.0	11.0
3	魏海	昆明理工大学电力工程学院	17	51	4.0	7.0
4	桂跃	昆明理工大学建筑工程学院	26	124	7.0	10.0
5	董梦思	昆明理工大学电力工程学院	4	14	2.0	3.0