基于资源签名与遗传算法的Hadoop参数自动调优系统

• 作者: 于碧辉 余骋远 马跃
• 来源期刊: 计算机应用研究
• 关键词: Hadoop集群 资源签名 遗传算法 参数配置 自动调优
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3219-3222,3228
• 页数: 5页
• 分类号: TP302.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.11.004

摘要

在Hadoop集群的优化配置中,配置参数存在种类繁多、含义复杂、相互关联影响的特性,导致难以实现快速准确寻优.针对以上问题,构建了Hadoop集群自动调优系统,其中在系统中设计了资源获取器与参数配置库,分别用于获取各作业的资源消耗与存储分发配置方案.该系统利用MapReduce作业的小规模数据集资源签名将任务分类,在遗传算法框架中通过任务的测试评估对配置方案进行自动迭代优化.实验结果表明,调优后集群的任务完成时间明显缩减,集群的资源利用率有了明显提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马跃	中国科学院沈阳计算技术研究所	49	544	11.0	22.0
2	于碧辉	中国科学院沈阳计算技术研究所	17	72	4.0	8.0
3	余骋远	中国科学院沈阳计算技术研究所	2	6	1.0	2.0