基于MongoDB与Hadoop MapReduce的数据分析系统性能改进研究

• 作者: 杨浩
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: MongoDB Hadoop MapReduce 分布式存储 分布式计算 大数据
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 基金项目
• 页码范围: 61-64
• 页数: 4页
• 分类号: TP18
• 字数: 4563字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-757X.2019.11.020

摘要

随着云计算、物联网等现代信息技术的高速发展,各行各业的数据急剧增长,特别是价值密度较低的非结构化数据的迅速增长,急需要一种高性能分布式系统来挖掘海量数据里所蕴藏的价值.论述了通过MongoDB-Connector for Hadoop连接器构建的基于MongoDB与Hadoop MapReduce的数据分析平台的数据传输机制,并从Chunk size设置、分片方式、MongoDB分片集群部署、CAP、混合分区、有向无环图、计算本地化及设置预测机制等方面提出了改进数据分析系统的措施,最后,对这些措施在舆情分析和超市顾客购买行为分析等项目实践中的应用效果进行了分析,论证了这些措施在改进性能中的可行性.研究结果可供大数据相关领域的人员参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨浩	榆林职业技术学院质量管理办公室	22	56	3.0	7.0