减少任务完成时间和数据局部性的数据复制及副本放置算法

• 作者: 宋雨欣 廖仲夏 廖启明
• 来源期刊: 电子测量与仪器学报
• 学科: 工学
• 关键词: Hadoop 数据局部性 任务完成时间 访问计数预测 数据复制 副本
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 学术论文
• 页码范围: 146-152
• 页数: 7页
• 分类号: TP311
• 语种: 中文
• DOI: 10.13382/j.jemi.2018.02.021

摘要

针对Hadoop框架下map任务阶段的任务完成时间和数据局部性问题,提出了一种基于拉格朗日插值多项式的数据复制和数据副本放置算法.具体实现是通过使用拉格朗日插值多项式来预测数据文件的访问计数,从而优化每个数据文件的复制因子,自适应地决定是否产生一个新的副本,或使用已加载的数据作为缓存;并提出了一种数据副本放置算法来有效地减轻rack和rack-off局部性.性能仿真结果表明,数据复制和数据放置算法相比于Hadoop中默认的数据复制设置,在map阶段的任务完成时间平均降低了约9.6％.在数据局部性方面,具有node局部性的map任务数量增加了6.1％,而具有rack和rack-off局部性的map任务数量则分别减少了45.6％和56.5％.