两步解码式空间矢量数据并行转换算法

• 作者: 孙乐乐 金宝轩
• 来源期刊: 浙江大学学报（工学版）
• 学科: 地球科学
• 关键词: 地理信息系统 空间矢量数据( SVD) 数据并行转换 数据倾斜
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 计算机技术
• 页码范围: 1768-1776,1804
• 页数: 10页
• 分类号: P208
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2020.09.013

摘要

传统单机转换工具与基于范围分区方案的并行转换算法存在扩展性差、数据倾斜的问题,为此提出两步解码式空间矢量数据(SVD)并行转换算法.通过归纳地理空间数据库(GDB)中空间矢量数据的存储编码模式,构建优化后的几何解码函数作为基础工具.初次解码:仅解析空间元数据,根据几何复杂度平衡解析任务,提高解析与数据量的均衡度;二次解码:借助几何并行解析机制提取、解析压缩几何字节,提高转换效率.该算法基于Spark实现,将其与ArcGIS单机转换工具、基于范围分区方案的并行查询转换算法进行对比可知,所提算法具有显著的效率、性能扩展优势,转换效率提升了2.5～117倍,大幅降低了几何复杂度不均导致的数据倾斜情况.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙乐乐		3	0	0.0	0.0
2	金宝轩		3	5	1.0	2.0