基于结构并行的MRBP算法

• 作者: 任刚 吴长茂 杨超 邓攀
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: MapReduce模型 结构并行 BP算法 多层神经网络 MRBP算法
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 1308-1319
• 页数: 12页
• 分类号: TP183
• 字数: 6680字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2018.20170024

摘要

BP(back propagation)算法是一种常用的神经网络学习算法,而基于Hadoop集群MapReduce编程模型的BP(MapReduce back propagation,MRBP)算法在处理大数据问题时,表现出良好的性能,因而得到了广泛应用.但是,由于该算法缺乏神经节点之间细粒度结构并行的能力,当遇到数据维度较高、网络节点较多时,性能还显不足.另一方面,Hadoop集群计算节点通信不能由用户直接控制,现有基于集群系统的结构并行策略不能直接用于MRBP算法.为此,提出一种适合于Hadoop集群的结构并行MRBP (structure parallelism based MapReduce back propagation,SP-MRBP)算法,该算法将神经网络各层划分为多个结构,通过逐层并行-逐层集成(layer-wise parallelism,layer-wise ensemble,LPLE)的方式,实现了MRBP算法的结构并行.同时,推导出了SP-MRBP算法和MRBP算法计算时间解析表达式,以此分析了2种算法时间差和SP-MRBP算法最优并行规模.据了解,这是首次将结构并行策略引入MRBP算法中.实验表明,当神经网络规模较大时,SP-MRBP较之原算法,具有较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨超	中国科学院软件研究所并行软件与计算科学实验室	114	799	15.0	23.0
2	任刚	河南工学院计算机科学与技术系	14	80	6.0	8.0
8	吴长茂	中国科学院软件研究所并行软件与计算科学实验室	4	7	2.0	2.0
9	邓攀	中国科学院软件研究所并行软件与计算科学实验室	4	3	1.0	1.0