基于遗传算法的Spark中间结果数据迁移策略

• 作者: 梁毅 毕临风 苏超 陈金栋
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Spark 中间结果数据 数据迁移
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 计算机软件与理论
• 页码范围: 89-92
• 页数: 4页
• 分类号: TP301
• 字数: 3044字
• 语种: 中文
• DOI: 10.11907/rjdk.191383

摘要

Spark是大数据内存计算系统的典型代表,通过内存缓存数据加速迭代型、交互型大数据应用的运行.基于时间窗口的数据分析是一类典型的大数据迭代型应用.基于Spark平台运行时间窗口数据分析应用,存在中间结果数据放置不均的问题,造成应用执行效率降低.针对上述问题,提出基于遗传算法的Spark中间结果数据迁移策略,通过考虑中间结果数据迁移时机、迁移数据规模,并使用遗传算法优化选取迁移数据放置位置,提高时间窗口应用执行效率.实验结果表明,在既有Spark平台中,采用该迁移策略可使时间窗口应用执行时间最大减少28.45％,平均减少21.59％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁毅	北京工业大学计算机学院	25	56	5.0	6.0
2	陈金栋	北京工业大学计算机学院	1	0	0.0	0.0
3	苏超	北京工业大学计算机学院	3	1	1.0	1.0
4	毕临风	北京工业大学计算机学院	1	0	0.0	0.0