一种Spark下分布式DBN并行加速策略

• 作者: 于炯 英昌甜 赵京霞 钱育蓉 黄震
• 来源期刊: 微电子学与计算机
• 关键词: 分布内存计算框架 缓存替换 范围分区 深度信念网络 数据倾斜
• 年，卷（期）: 2018,（11）
• 页码范围: 100-105
• 页数: 6页
• 分类号: TP316.4
• 语种: 中文

摘要

Spark下分布式深度信念网络(Distributed Deep Belief Network,DDBN)存在数据倾斜、缺乏细粒度数据置换、无法自动缓存重用度高的数据等问题,导致了DDBN计算复杂高、运行时效性低的缺陷.为了提高DDBN的时效性,提出一种Spark下DDBN数据并行加速策略,其中包含基于标签集的范围分区(Label Set based on RangePartition,LSRP)算法和基于权重的缓存替换(Cache Replacement based on Weight,CRW)算法.通过LSRP算法解决数据倾斜问题,采用CRW算法解决RDD(Resilient Distributed Datasets)重复利用以及缓存数据过多造成内存空间不足问题.结果表明:与传统DBN相比,DDBN训练速度提高约2.3倍,通过LSRP和CRW大幅提高了DDBN分布式并行度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学软件学院	176	1315	20.0	28.0
5	钱育蓉	新疆大学软件学院	85	510	13.0	20.0
6	黄震	新疆大学软件学院	3	22	2.0	3.0
7	赵京霞	新疆大学软件学院	9	10	1.0	3.0