异构 Hadoop 集群中数据副本放置策略优化

• 作者: 刘艳 张庆磊 蔡燕冬 谢晓东
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 分布式文件系统 Hadoop 数据放置 异构 数据热度
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 计算机与控制工程
• 页码范围: 63-68
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.13245/j.hust.160713

摘要

针对默认的 Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息，导致异构环境中集群计算任务本地化比例下降、影响计算性能，提出计算型数据的副本放置优化策略。量化数据访问特征以及节点实时性能和负载，以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点。实验结果表明：与默认策略相比，优化的副本放置策略能更有效地为副本选择合适的存储节点，提高计算任务本地化比例和计算性能，并使集群对节点的变动具有更好的适应性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘艳	华侨大学计算机科学与技术学院	12	18	2.0	3.0
2	蔡燕冬	华侨大学计算机科学与技术学院	3	11	2.0	3.0
3	谢晓东	华侨大学计算机科学与技术学院	6	3	1.0	1.0
4	张庆磊	华侨大学计算机科学与技术学院	2	6	2.0	2.0