H adoop延迟调度中延迟时间间隔的合理设置

• 作者: 朱快快 杨群 柯何杨 王立松
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 延迟调度 延迟时间间隔 本地化 期望本地化概率
• 年，卷（期）: 2013,（12）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 207-210,261
• 页数: 5页
• 分类号: TP311
• 字数: 6555字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2013.12.054

摘要

基于Hadoop框架的云计算中，为减少数据迁移提高程序执行效率，延迟调度算法允许作业花费一定的延迟时间间隔等待某计算资源包含该作业待处理数据，而延迟时间间隔的选择往往是一个经验值。在分析了作业待处理数据在文件系统中的分布情况如何影响作业本地化调度的基础上，引入参数用户期望本地化概率，推导出等待时间的计算公式。该公式区分不同的作业，设置不同的等待时间，并且用户可以根据期望本地化概率这一参数来调控作业预期的本地化程度。对上述方法进行实验验证，结果表明：通过公式计算出的延迟时间能够使得作业达到用户预期的本地化效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王立松	南京航空航天大学计算机科学与技术学院	64	442	11.0	19.0
2	杨群	南京航空航天大学计算机科学与技术学院	12	57	4.0	7.0
3	柯何杨	南京航空航天大学计算机科学与技术学院	3	20	2.0	3.0
4	朱快快	南京航空航天大学计算机科学与技术学院	2	5	1.0	2.0