熵在BP神经网络修剪算法中的应用

• 来源期刊: 信息与控制
• 关键词: 交叉熵 拟熵 BP神经网络 修剪算法
• 年，卷（期）: 2009,（5）
• 所属期刊栏目: 短文
• 页码范围: 633-636,640
• 页数: 5页
• 分类号: TP273
• 语种: 中文

摘要

提出了一种基于熵理论的BP神经网络结构设计修剪算法.其实质是依据Shannon熵原理,定义神经网络隐层节点输出的拟熵,该熵与Shannon熵对不确定性的描述具有相同的效果,但克服了Shannon熵固有的缺点.将神经网络实际输出与期颦输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进行寻优,最后通过删除合并隐层神经元达到简化神经网络结构的目的.通过逼近典型非线性函数进行仿真实验,结果表明,该修剪算法在保证其逼近件能的同时,可以简化BP神经网络结构.