非阻塞事务型实时数据注入技术研究与实现

• 作者: 余楷 周傲英 周敏奇 李志方
• 来源期刊: 华东师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 分布式数据库 实时数据注入 事务 CLAIMS
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 系统工具
• 页码范围: 131-143,164
• 页数: 14页
• 分类号: TP392
• 字数: 8220字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5641.2016.05.015

摘要

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周傲英	华东师范大学数据科学与工程研究院	68	2290	20.0	47.0
2	周敏奇	华东师范大学数据科学与工程研究院	20	280	7.0	16.0
3	李志方	华东师范大学数据科学与工程研究院	2	1	1.0	1.0
4	余楷	华东师范大学数据科学与工程研究院	1	1	1.0	1.0