异构 Hadoop 集群下的比例数据分配策略

• 作者: 王黎明 魏文娟
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 异构 Hadoop 集群 MapReduce 数据转移 比例数据分配 计算速率
• 年，卷（期）: 2015,（6）
• 所属期刊栏目: 信息技术交流
• 页码范围: 316-319
• 页数: 4页
• 分类号: TP3
• 字数: 2965字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2015.06.078

摘要

针对异构 Hadoop 环境下仍采用均等的数据分配方法将严重降低 MapReduce 的性能，提出比例数据分配策略。通过计算异构集群中各节点的计算比率，将已经分割好的数据块重新进行组合，形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块，从而使异构 Hadoop 集群中各节点处理数据的时间大致相同，降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高 MapReduce 的性能，并使数据负载均衡。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王黎明	郑州大学信息工程学院	81	602	14.0	20.0
2	魏文娟	郑州大学信息工程学院	3	12	2.0	3.0