多层感知器模型互反奇异性区域学习动态的理论分析

• 作者: 张侃健 赵军圣 郭伟立 魏海坤
• 来源期刊: 控制理论与应用
• 学科: 工学
• 关键词: 多层感知器 神经网络 学习动态 奇异性 互反
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 论文与报告
• 页码范围: 140-147
• 页数: 8页
• 分类号: TP273
• 字数: 6126字
• 语种: 中文
• DOI: 10.7641/CTA.2014.30600

摘要

多层感知器神经网络(MLPs)的学习过程经常发生一些奇异性行为,容易陷入平坦区,这都和MLPs的参数空间中存在的奇异性区域有直接关系.当MLPs的两个隐节点的权值接近互反时,置换对称性会导致学习困难.对MLPs的互反奇异性区域附近的学习动态进行分析.本文首先得到了平均学习方程的解析表达式,然后给出了互反奇异性区域附近的理论学习轨迹,并通过数值方法得到了其附近的实际学习轨迹.通过仿真实验,分别观察了MLPs的平均学习动态,批处理学习动态和在线学习动态,并进行了比较分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏海坤	东南大学自动化学院复杂工程系统测量与控制教育部重点实验室	76	824	12.0	27.0
2	张侃健	东南大学自动化学院复杂工程系统测量与控制教育部重点实验室	73	318	9.0	14.0
3	赵军圣	东南大学自动化学院复杂工程系统测量与控制教育部重点实验室	7	9	2.0	3.0
5	郭伟立	东南大学自动化学院复杂工程系统测量与控制教育部重点实验室	2	6	1.0	2.0