大数据分析——RDBMS与MapReduce的竞争与共生

• 作者: 杜小勇 王会举 王珊 覃雄派
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大数据 深度分析 关系数据管理技术 MapReduce
• 年，卷（期）: 2012,（1）
• 所属期刊栏目: 数据库技术
• 页码范围: 32-45
• 分类号: TP311
• 字数: 9756字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2012.04091

摘要

在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域,数据量正在以极快的速度增长,为了分析和利用这些庞大的数据资源,必须依赖有效的数据分析技术.传统的关系数据管理技术(并行数据库)经过了将近40年的发展,在扩展性方面遇到了巨大的障碍,无法胜任大数据分析的任务；而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营在丧失搜索这个阵地之后,开始考虑自身的局限性,不断借鉴MapReduce的优秀思想改造自身,而以MapReduce为代表的非关系数据管理技术阵营,从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法,不断解决其性能问题.面向大数据的深度分析需求,新的架构模式正在涌现.关系数据管理技术和非关系数据管理技术在不断的竞争中互相取长补短,在新的大数据分析生态系统内找到自己的位置.