大数据3.0——后Hadoop时代大数据的核心技术

• 作者: 刘汪根 孙元浩
• 来源期刊: 数据与计算发展前沿
• 关键词: 大数据 云计算 DAG 实时计算 Kubernetes 多租户 统一存储管理
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 专刊:数据与计算平台
• 页码范围: 94-104
• 页数: 11页
• 字数: 7413字
• 语种: 中文
• DOI: 10.11871/jfdc.issn.2096-742X.2019.01.010

摘要

[目的]以Hadoop为代表的第一代大数据技术架构存在过于复杂、性能不足,以及与云计算不能很好结合等问题,因此星环科技重新设计了大数据技术栈.[方法]设计了资源调度层来管理各种生命周期的服务和任务;抽象出了统一存储管理层,通过插拔不同的存储引擎来实现对不同类型数据的需求;通过统一的基于DAG的计算引擎来支持多种计算负载;在开发层提供标准的SQL和Python接口.[结果]使用Kubernetes技术统一管理数据服务和容器技术实现更好的多租户能力,打通大数据和业务之间的衔接,从而更好的实现数据业务化和业务数据化,也在大规模商用中得到了验证.[结论]通过对大数据架构的重新设计,不仅有效的解决了第一代大数据实现的技术问题,而且更好的与云计算和新型硬件技术结合,可以代表新一代大数据基础技术栈的发展方向.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙元浩		8	11	2.0	3.0
2	刘汪根		3	1	1.0	1.0