一种改进的Hadoop数据放置策略

• 作者: 林伟伟
• 来源期刊: 华南理工大学学报（自然科学版）
• 学科: 工学
• 关键词: Hadoop 数据放置 负载均衡 策略
• 年，卷（期）: 2012,（1）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 152-158
• 分类号: TP393
• 字数: 5477字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-565X.2012.01.026

摘要

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林伟伟	华南理工大学计算机科学与工程学院	42	903	11.0	29.0