基于Hadoop集群的海量数据处理系统

• 作者: 张遥 蒋春娟
• 来源期刊: 网络安全技术与应用
• 学科: 工学
• 关键词: 集群 海量数据 Hadoop MapReduce
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 技术·应用
• 页码范围: 8-9
• 页数: 2页
• 分类号: TP391
• 字数: 3180字
• 语种: 中文

摘要

近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.