Sigmoid函数的低复杂度概率分段线性拟合法

• 作者: NGUYEN Van-Truong 蔡觉平 褚洁 魏琳育
• 来源期刊: 西安电子科技大学学报（自然科学版）
• 学科: 工学
• 关键词: Sigmoid函数 概率 神经网络 分段线性拟合 现场可编程门阵列
• 年，卷（期）: 2020,（3）
• 页码范围: 58-65
• 页数: 8页
• 分类号: TN402
• 字数: 4015字
• 语种: 中文
• DOI: 10.19665/j.issn1001-2400.2020.03.008

摘要

针对传统的Sigmoid激活函数拟合方法准确度不高、消耗大量资源等问题,提出了一种基于各层神经元值分布概率的Sigmoid函数分段线性拟合方法,以便在仅使用加法电路的情况下,提高神经网络的识别精度.首先以Sigmoid函数的二阶导数为基础,将Sigmoid函数划分为3个固定区域;其次根据每层神经元值的概率变化,将每个固定区域的曲线再划分成不同数量、长度的子区域,以减少近似误差,提高识别精度.分段线性函数斜率设为2-n,有效地降低了Sigmoid函数的硬件实现复杂度.最后,设计了拟合函数的硬件电路结构,并在Xilinx FPGA-XC7A200T上实现MNIST手写数字识别,对所提出的拟合方法进行验证.实验结果表明,该方法的识别准确率在深度神经网络中约达到97.45％,而在卷积神经网络中约达到98.42％.与其他仅使用加法电路的拟合方法对比,准确率分别提高了约0.84％和0.57％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡觉平	西安电子科技大学微电子学院	24	105	6.0	9.0
2	NGUYEN Van-Truong	西安电子科技大学微电子学院	1	0	0.0	0.0
3	魏琳育	西安电子科技大学微电子学院	1	0	0.0	0.0
4	褚洁	西安电子科技大学微电子学院	1	0	0.0	0.0