Hadoop中Reduce任务本地性优化

• 作者: 王嵩 郑烇 陶昌俊
• 来源期刊: 电子技术
• 学科: 工学
• 关键词: Hadoop 作业 Reduce任务 数据本地性 延迟调度
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 电子技术教育
• 页码范围: 92-97
• 页数: 6页
• 分类号: TP338.8
• 字数: 4646字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-0755.2015.09.024

摘要

为了提高Hadoop作业的Reduce任务的数据本地性，深入分析了Reduce任务的数据本地性问题，并提出了一种延迟调度算法DSORT（Delay Scheduler Of Reduce Task），将延迟调度的思想应用到Reduce任务的数据本地性的优化上，并将DSORT的实现嵌入公平调度器中，最后，通过与原生的公平调度器比较，该算法大大提高了Reduce任务的数据本地性，减少了网络传输开销，缩短了作业的执行时间。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王嵩	中国科学技术大学自动化系	59	284	8.0	14.0
2	郑烇	中国科学技术大学自动化系	55	331	9.0	15.0
3	陶昌俊	中国科学技术大学自动化系	2	6	2.0	2.0