分布式环境下时态大数据的连接操作研究

• 作者: 张伟 王志杰
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 时态大数据 分布式内存计算 时态连接 二级索引 分区方法 Spark框架
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 云计算与大数据专题
• 页码范围: 20-25,31
• 页数: 7页
• 分类号: TP391
• 字数: 4144字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0052626

摘要

目前处理时态大数据连接操作多数运用分布式系统, 但现有的分布式系统尚不能支持原生的时态连接查询, 无法满足时态大数据低延迟和高吞吐量的处理需求.为此, 提出一个基于Spark的二级索引内存解决方案.运用全局索引进行分布式分区的剪枝, 使用局部时态索引进行分区内查询, 提高数据检索效率.针对时态数据设计分区方法, 以对全局剪枝进行优化.基于真实和合成数据集的实验结果表明, 与基准方案相比, 该方案可明显提高时态连接操作的处理效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张伟	上海交通大学计算机科学与工程系	113	657	14.0	19.0
2	王志杰	中山大学数据科学与计算机学院	2	3	1.0	1.0