基于权值e指数信息熵的前馈网络修剪算法

• 作者: 乔俊飞 张昭昭 沈学利
• 来源期刊: 辽宁工程技术大学学报(自然科学版)
• 学科: 工学
• 关键词: 前馈网络 e指数信息熵 修剪算法
• 年，卷（期）: 2009,（3）
• 所属期刊栏目: 电气工程与计算机技术
• 页码范围: 439-441
• 页数: 3页
• 分类号: TP183
• 字数: 2351字
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0562.2009.03.030

摘要

针对神经网络结构设计的难点,定义神经网络连接权值的e指数信息熵,该熵克服了Shannon熵固有的缺点,但与Shannon熵对不确定性的描述具有相同的效果.将其作为惩罚项引入神经网络学习的目标函数中训练神经网络,由于熵函数特有的属性,对神经网络中小的连接进行惩罚而对大的连接进行鼓励,从而使神经网络中小的权值迅速收敛到零值附近.通过删除零值附近的权连接进而达到简化神经网络结构的目的.典型非线性函数逼近的仿真试验结果表明,该修剪算法在保证其逼近性能的同时,可以简化神经网络结构.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈学利	辽宁工程技术大学电子与信息工程学院	61	373	10.0	17.0
2	乔俊飞	北京工业大学智能系统研究所	181	1883	22.0	31.0
3	张昭昭	北京工业大学智能系统研究所	6	53	3.0	6.0