Hadoop集群参数的自动调优

• 作者: 刘闫锋 王皎
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: HADOOP 抽样算法 策略选择 感知层
• 年，卷（期）: 2012,（4X）
• 页码范围: 2768-2772
• 页数: 5页
• 分类号: TP311.13

摘要

Hadoop平台作为一个开源的在集群上运行大型数据库处理的框架受到了各个公司的青睐,然而要在Hadoop集群上运行一个作业必须手动设置将近200多个复杂的参数,如何设置这些参数对普通用户来说是非常困难的,该文针对这个问题提出了一种基于策略选择的抽样算法,通过在Hadoop中加入策略感知层,实验结果表明改进的Hadoop框架可以自动优化设置这些复杂的参数,从而提高整个系统的运行效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘闫锋		4	15	2.0	3.0
2	王皎		2	10	1.0	2.0