基于递归随机抽样的Hadoop配置优化

• 作者: 祝春祥 陈世平 陈敏刚
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Hadoop平台 黑盒优化 粒子群算法 模拟退火算法 递归随机抽样
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 云计算专题
• 页码范围: 26-32
• 页数: 7页
• 分类号: TP302
• 字数: 5878字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.02.005

摘要

Hadoop平台目前有近200个配置参数,对这些参数进行合理配置能提高系统性能.针对Hadoop参数配置的优化问题,提出一种基于递归随机抽样的黑盒优化策略.利用随机抽样的初始高效性,通过不断调整样本空间进行递归随机抽样,从而快速搜索到近似的全局最优配置.实验结果表明,与传统配置方法相比,应用黑盒优化策略的配置方法可提高14％ ～ 25％的Hadoop作业处理速度,且具有较好的稳定性和可靠性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈世平	上海理工大学光电信息与计算机工程学院	111	668	12.0	22.0
2	陈敏刚		3	15	2.0	3.0
3	祝春祥	上海理工大学光电信息与计算机工程学院	1	2	1.0	1.0