基于注意力模型的混合学习算法

• 作者: 杨博 王亚东 苏小红
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: BP算法 人工神经网络 注意力模型 遗传算法 饱和区域 局部极值
• 年，卷（期）: 2005,（6）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 1073-1080
• 页数: 8页
• 分类号: TP18
• 字数: 6496字
• 语种: 中文

摘要

为了解决传统BP(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中"选择性注意力模型"的基础上,将遗传算法与误差放大的BP学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的BP训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统BP算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王亚东	哈尔滨工业大学计算机科学与技术学院	92	1036	16.0	29.0
2	苏小红	哈尔滨工业大学计算机科学与技术学院	152	1551	20.0	34.0
3	杨博	哈尔滨工业大学计算机科学与技术学院	18	233	7.0	15.0