异构Hadoop集群下自适应平衡数据存储的大数据放置策略

• 作者: 于来行 张中军 张少辉
• 来源期刊: 现代电子技术
• 关键词: 异构Hadoop集群 大数据放置 数据存储平台 平衡数据存储
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 计算机软/硬件与数据总线
• 页码范围: 49-53,57
• 页数: 6页
• 分类号: TN915-34|TP393
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.10.013

摘要

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略.根据异构集群中各节点的计算能力比例,将数据分配到节点中.在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Ha-doop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率.实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张中军	周口师范学院计算机科学与技术学院	10	26	4.0	5.0
2	张少辉	周口师范学院网络工程学院	26	90	5.0	7.0
3	于来行	大连理工大学计算机科学与技术学院	6	63	4.0	6.0