基于Spark的时态查询扩展与时态索引优化研究

• 作者: 周亮 李格非 邰伟鹏 郑啸
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 时态大数据 Spark系统 SparkSQL组件 时态查询 时态索引 高吞吐量 低延迟
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 22-28,37
• 页数: 8页
• 分类号: TP391
• 字数: 4437字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2017.07.004

摘要

时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低.为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统.通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作.基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邰伟鹏	安徽工业大学计算机科学与技术学院	33	160	7.0	11.0
2	郑啸	安徽工业大学计算机科学与技术学院	54	1140	12.0	33.0
3	周亮	上海交通大学计算机科学与工程系	10	72	3.0	8.0
4	李格非	上海交通大学计算机科学与工程系	2	8	2.0	2.0