面向大数据处理的 Hadoop 与 MongoDB 整合技术研究

• 作者: 曾强 秦拯 缪力
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 整合 MongoDB Hadoop 大数据
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 数据工程
• 页码范围: 21-24,37
• 页数: 5页
• 分类号: TP311.5
• 字数: 5441字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.02.005

摘要

随着数据种类的增多和数据规模的增大，NoSQL 技术与 MapReduce 并行处理思想越来越受到重视。MongoDB 作为 No-SQL 数据库的典型代表，支持对海量数据进行索引和查询，但 MongoDB 提供的 MapReduce 还不能满足复杂的数据分析和计算。而Hadoop 虽然提供了强大的 MapReduce 并行计算框架，却在实时服务方面存在较高延时。针对这种情况，综合考虑扩展性，数据本地化，I ／O 性能等因素，提出并实现 Hadoop 与 MongoDB 四种不同的整合方案。通过设计三种具有代表性的应用作为性能的测量基准，对不同的整合方案进行性能对比实验，得出不同应用场景下的最优整合方案。实验表明，在 MongoDB 与 Hadoop 的折衷使用过程中，若对不同的应用采用合理的方案，性能最多可以提高3倍。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦拯	湖南大学信息科学与工程学院	69	954	14.0	29.0
2	缪力	湖南大学信息科学与工程学院	35	167	8.0	10.0
3	曾强	湖南大学信息科学与工程学院	1	14	1.0	1.0