开源软件中的大数据管理技术

• 作者: 乔嘉林 江天 王建民 黄向东
• 来源期刊: 科技导报
• 关键词: 大数据管理 开源软件 分布式系统
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 专题:大数据战略
• 页码范围: 103-114
• 页数: 12页
• 语种: 中文

摘要

随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用.针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点.