SparkDE:一种基于RDD云计算模型的并行差分进化算法

• 作者: 吴志健 彭虎 董小刚 袁斯昊 谭旭杰 邓长寿
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 并行差分进化算法 岛模型 弹性分布式数据集 转换操作 控制操作
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 2015年第三届CCF大数据学术会议
• 页码范围: 116-119,139
• 页数: 5页
• 分类号: TP18
• 字数: 3448字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2016.9.022

摘要

云计算MapReduce并行编程模型广泛应用于数据密集型应用领域,基于该模型的开源平台Hadoop在大数据领域获得了成功应用.然而,对于计算密集型任务,特别是迭代运算,频繁启动Map和Reduce过程将导致负载过大,影响计算效率.弹性分布式数据集(RDD)是一种基于内存的集群计算模型,有效地支持迭代运算,能够克服负载过大的问题.因此提出基于RDD模型的并行差分进化算法SparkDE.SparkDE首先将整个种群划分为若干个独立岛,然后将一个岛对应RDD中的一个分区,每个岛在RDD的一个分区中独立进化指定代数后,利用迁移算子在岛之间交换信息.利用标准测试问题对SparkDE、基于MapReduce模型的MRDE和基本DE进行对比实验研究.实验结果表明SparkDE求解精度高,计算速度快,加速效果明显,可以作为云计算平台的下一代优化器.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邓长寿	九江学院信息科学与技术学院	42	204	8.0	11.0
2	吴志健	武汉大学软件工程国家重点实验室	47	513	13.0	21.0
3	董小刚	九江学院信息科学与技术学院	10	32	4.0	5.0
4	袁斯昊	九江学院信息科学与技术学院	7	32	4.0	5.0
5	谭旭杰	九江学院信息科学与技术学院	11	34	4.0	5.0
6	彭虎	武汉大学软件工程国家重点实验室	7	56	5.0	7.0