一种混合计算环境下的MapReduce并行模型

• 作者: 唐兵 贺海武
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 混合计算环境 MapReduce 志愿计算 容错 分布式文件系统
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 高性能计算专辑
• 页码范围: 87-93
• 页数: 7页
• 分类号: TP302
• 字数: 5617字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2013.11.014

摘要

提出了一种混合计算环境下的MapReduce并行计算模型,利用该模型可以将高性能集群节点与Internet或Intranet下异构的桌面PC组成混合计算环境,在该混合环境下运行MapReduce任务进行海量数据分析处理,充分利用了大规模桌面PC的计算与存储能力.与Hadoop类似,该模型分为存储层和任务层两层.对该模型及其核心的HybridDFS分布式文件系统和MapReduce算法进行了简单描述,进而设计并实现了一个原型系统,并对其进行了性能测试.测试结果表明,提出的混合计算模型不仅能够实现可靠的MapReduce计算,而且降低了计算的成本开销,具有非常大的潜力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐兵	湖南科技大学计算机科学与工程学院	15	31	3.0	4.0