基于输入分片扰乱的BP神经网络MapReduce训练方法

• 作者: 俞茂义 陈旺虎 马生俊
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 神经网络 MapReduce 输入分片 收敛
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 137-143
• 页数: 7页
• 分类号: TP301.6
• 字数: 7796字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1608-0069

摘要

BP神经网络的MapReduce训练中,每个map训练任务产生的中间权阵只对该训练节点上的输入分片收敛,为提高BP神经网络的训练效率,保证MapReduce训练的全局收敛性,提出一种基于输入分片扰乱的MapReduce训练方法.通过对训练样本集进行系统抽样来扰乱输入分片,并产生新的输入分片,依靠新的输入分片以map任务的原权阵为基础进行迭代训练,可加速MapReduce训练达到收敛的进程;为提高map训练任务的局部收敛速度,在每轮次的训练完成后,选取map任务产生的权阵中全局误差最小者,作为下轮次各map训练任务的初始权阵.在Ha-doop集群上的实验表明,该方法可使MapReduce训练BP神经网络的效率得到很大提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈旺虎	西北师范大学计算机科学与工程学院	25	88	5.0	7.0
2	俞茂义	西北师范大学计算机科学与工程学院	5	24	4.0	4.0
3	马生俊	西北师范大学计算机科学与工程学院	5	13	3.0	3.0