面向海量空间数据的分布式距离连接算法

• 作者: 王如斌 李瑞远 何华均 刘通 李天瑞
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 空间距离连接 空间分区 分布式计算 空间索引 时空数据
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 数据库&大数据&数据科学|Database & Big Data & Data Science
• 页码范围: 95-100
• 页数: 6页
• 分类号: TP338
• 语种: 中文
• DOI: 10.11896/jsjkx.210100060

摘要

空间距离连接是空间数据分析最基本的操作之一,具有广泛的应用场景.针对现有分布式方法的空间域选取过大、数据倾斜、自连接较慢的问题,提出了一种新的面向海量空间数据的分布式距离连接算法JUST-Join.首先,JUST-Join仅选取必要的空间区域作为全局域,能够提前过滤数据,减少无效的数据传输和不必要的计算开销;然后,同时考虑了参与连接的两个数据集的分布,从而缓解了数据倾斜问题;最后,针对自连接情形的冗余计算,采用平面扫描算法来进一步提高效率.文中使用Spark实现了JUST-Join算法,并利用真实的数据集做了大量实验.实验结果表明,JUST-Join算法在效率和扩展性方面都优于现有的最先进的分布式空间分析系统.