基于Spark的并行遗传算法研究

• 作者: 余涛 刘泽燊
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: Spark RDD 并行遗传算法 多目标优化 大规模变量
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 经验技巧
• 页码范围: 43-46
• 页数: 4页
• 分类号: TP18
• 字数: 2690字
• 语种: 中文
• DOI: 10.16644/j.cnki.cn33-1094/tp.2017.01.014

摘要

当前Spark分布式编程框架由于内存计算得到了快速发展，相对于传统MapReduce并行编程模型在迭代运算上有明显优势。针对串行遗传算法处理大规模问题能力有限的现状，提出了一种基于Spark平台的粗粒度并行遗传算法（SPGA）。该方法利用Spark框架并行实现了遗传算法的选择、交叉和变异操作，并对并行操作算子的性能进行了分析，优化了算法并行化实现方案，极大地提高了遗传算法全局搜索效率。实验结果表明，新的并行遗传算法在收敛速度上有显著的提高，能够很好地提高优化效率。