一种基于Spark的多路空间连接查询处理算法

• 作者: 乔百友 朱俊海 王国仁 申木川 郑宇杰
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 云计算 Spark平台 多路空间连接查询 边界过滤 重复避免
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 软件技术
• 页码范围: 1592-1602
• 页数: 11页
• 分类号: TP311.13
• 字数: 10761字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2017.20160558

摘要

针对云环境下空间数据连接查询处理问题,提出了一种基于Spark的多路空间连接查询处理算法BSMWSJ.该算法采用网格划分方法将整个数据空间划分成大小相同的网格单元,并将各类数据集中的空间对象,根据其空间位置划分到相应的网格单元中,不同网格单元中的空间数据对象进行并行连接查询处理.在多路空间连接查询处理过程中,采用边界过滤的方法来过滤无用数据,即通过计算前面连接操作候选结果的MBR来过滤后续连接数据集,从而过滤掉无用的连接对象,减少连接对象的多余投影与复制,并采用重复避免策略来减少重复结果的输出,从而进一步减少后续连接计算的代价.合成数据集和真实数据集上的大量实验结果表明:提出的多路空间连接查询处理算法在性能上明显优于现有的多路连接查询处理算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王国仁	东北大学计算机科学与工程学院	228	2804	25.0	45.0
2	朱俊海	东北大学计算机科学与工程学院	1	0	0.0	0.0
3	郑宇杰	东北大学计算机科学与工程学院	1	0	0.0	0.0
4	申木川	东北大学计算机科学与工程学院	1	0	0.0	0.0