基于Hadoop生态系统的大数据解决方案综述

• 作者: 乐嘉锦 陈吉荣
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 大数据 Hadoop生态系统 MapReduce HDFS 列存储数据库
• 年，卷（期）: 2013,（10）
• 所属期刊栏目: 大数据
• 页码范围: 25-35
• 页数: 11页
• 分类号: TP311
• 字数: 9412字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2013.10.003

摘要

一个大数据解决方案需要面对三个关键问题:大数据的存储、大数据的分析和大数据的管理.首先综述了大数据和Hadoop生态系统的定义;然后从商业产品和Hadoop生态系统两个方面来探讨如何面对大数据,重点分析了Hadoop生态系统是如何解决的:分别用HDFS、HBase和OpenTSDB解决存储问题,用Hadoop MapReduce (Hive)和HadoopDB解决分析问题,用Sqoop和Ganglia等解决管理问题.对于每个成员,分别分析了其系统架构、实现原理和特点;对于重点成员,分别分析了其存在的一些问题或缺点,并在总结当前学术和应用的进展基础上,结合我们自身的研究进展,提出了解决方法、解决思路和观点.可以预见,Hadoop生态系统将是中小企业在面对大数据问题时的首选解决方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	乐嘉锦	东华大学算机科学与技术学院	131	1480	20.0	32.0
2	陈吉荣	东华大学算机科学与技术学院	4	237	4.0	4.0