大数据技术专题讲座(二)第<em>3</em>讲 面向大数据处理的MapReduce优化技术

• 作者: 倪桂强 刘青 鲍爱华
• 来源期刊: 军事通信技术
• 学科: 工学
• 关键词: 大数据 并行编程范式 优化
• 年，卷（期）: 2015,（2）
• 页码范围: 81-87
• 页数: 7页
• 分类号: TP316.4
• 语种: 中文
• DOI: 10.16464/j.cnki.cn32-1289.2015.02.015

摘要

随着大数据时代的到来,大规模数据的处理技术研究层出不穷.MapReduce计算框架的出现,暂时缓解了大数据的处理难题.虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈.针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究.文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望.