云计算异构环境下Hadoop性能分析

• 作者: 刘丹丹 梁锋 范小朋 陈俊
• 来源期刊: 集成技术
• 关键词: Hadoop 云计算 异构性 系统性能
• 年，卷（期）: 2012,（4）
• 所属期刊栏目: 云计算专刊
• 页码范围: 46-51
• 页数: 6页
• 字数: 5444字
• 语种: 中文

摘要

通过将虚拟化技术引入到传统的数据中心来实现计算资源的按需分配,云计算服务正获得日益广泛的应用,例如亚马逊所提供的弹性云计算服务EC2.另一方面,Hadoop作为MapReduce这一大规模数据的分布式并行计算模型的开源实现,在学术界和工业界都获得了越来越多的研究和应用.当前的一个研究热点问题就是如何将云平台这一异构化的底层基础设施,与Hadoop的上层计算模型有效结合起来,利用云平台所提供的弹性资源来充分发挥Hadoop高扩展性、高容错性、低硬件配置的优点.在这篇论文中,我们在异构云平台环境下进行了一系列的Hadoop性能测试和分析,并指出在这一环境下,由于虚拟机的高I0开销,导致Hadoop的性能相比传统的纯粹物理节点集群急剧降低.我们的工作可以作为研究云计算异构环境下如何提高Hadoop性能的一个重要基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈俊	中国科学技术大学软件学院	43	745	14.0	27.0
2	刘丹丹	中国科学院深圳先进技术研究院先进计算与数字工程研究所	5	24	2.0	4.0
6	梁锋	南京大学软件学院	1	14	1.0	1.0
7	范小朋	中国科学院深圳先进技术研究院先进计算与数字工程研究所	5	18	2.0	4.0