应用驱动的基于流式框架的实时数据分区算法

• 作者: 康宏 袁晓洁 郭蒙雨
• 来源期刊: 计算机应用研究
• 关键词: 负载驱动 数据分区 流式框架
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 软件技术研究
• 页码范围: 1135-1141,1178
• 页数: 8页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.04.038

摘要

数据分区技术是改善基于shared-nothing架构的大型应用性能的重要手段.当前的数据分区技术无法高效处理应用负载所蕴涵的动态、大规模分区信息,无法即时生成分区策略.为了解决传统数据库分区技术面临的问题,实现分区的实时处理,提出了与流式框架相结合的实时数据分区算法,通过构建关联矩阵映射分区信息,并基于代价模型实现数据分区方案的即时生成,采用流式框架的水平扩展机制实现了算法的高扩展性和高吞吐量适应性.实验结果表明,与现有分区方法相比,算法有较好的分区效果和较低的时间复杂度.该算法是大数据环境下针对大规模、动态工作负载进行实时数据分区的有效手段.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	袁晓洁	南开大学计算机与控制工程学院	37	343	12.0	16.0
2	康宏	南开大学计算机与控制工程学院	5	24	3.0	4.0
3	郭蒙雨	南开大学计算机与控制工程学院	2	6	1.0	2.0