HCE：提升资源利用率的MapReduce框架

• 作者: 杨栋
• 来源期刊: 程序员
• 学科: 工学
• 关键词: MapReduce 计算框架 资源利用率 海量数据处理 分配策略 YAHOO 执行效率 P系统
• 年，卷（期）: 2011,（8）
• 页码范围: 40-43
• 页数: 4页
• 分类号: TP393.03

摘要

Hadoop系统提供了MapReduce计算框架的开源实现，像Yahoo!、Facebook、淘宝、中移动、百度、腾讯等公司都在借助Hadoop进行海量数据处理。Hadoop系统性能不仅取决于任务调度器的分配策略，还受到分配后实际任务执行效率的影响，任务执行常常涉及读取、排序、归并、压缩、写入等具体阶段。