基线与增量数据分离架构下的分布式连接算法

• 作者: 周傲英 周敏奇 樊秋实
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 分布式连接 增量数据 并行处理 排序归并连接
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 数据科学与工程
• 页码范围: 2102-2113
• 页数: 12页
• 分类号: TP311
• 字数: 11294字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2016.02102

摘要

在大数据背景下，数据库系统表连接操作的效率急需优化，尤其对于基线与增量数据分离的数据库系统来说，其连接操作更是成为其性能的主要瓶颈。为了有效提升事务处理的性能，在基线与增量数据分离的数据库系统架构中，通常将基线数据存储于磁盘中，增量数据存储于内存中，进而获得较高的事务处理吞吐量和可扩展性。 Hbase、BigTable、OceanBase 等系统是典型的基线与增量数据分离的数据库管理系统，但是他们的表连接效率较低，其主要原因包括：每次表连接前必须先合并基线数据和增量数据；数据存储模式更为复杂，导致过大的网络开销。该文提出了一种基线与增量数据分离架构下的排序归并连接优化算法。该算法对连接属性做范围切分，在多个节点上并行做排序归并连接。该算法无需在连接前合并基线数据和增量数据，进而实现对基线和增量数据并行处理，同时也避免了大量非连接结果集数据的基线与增量合并操作。并在开源的数据库 OceanBase 上实现了该算法，通过一系列实验证明，该算法可以极大提高 OceanBase 数据库的表连接处理性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周傲英	华东师范大学数据科学与工程研究院上海高可信计算重点实验室	68	2290	20.0	47.0
2	周敏奇	华东师范大学数据科学与工程研究院上海高可信计算重点实验室	20	280	7.0	16.0
3	樊秋实	华东师范大学数据科学与工程研究院上海高可信计算重点实验室	2	12	2.0	2.0