并行处理技术在全球海量地理信息数据质量控制中的应用

• 作者: 万咏涛 周琦 张俊辉 杜晓 林尚纬 郑义
• 来源期刊: 测绘通报
• 学科: 地球科学
• 关键词: 海量地理信息数据 质量控制 分布式并行计算 多线程 MapReduce框架
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 全球地理信息资源建设
• 页码范围: 29-33
• 页数: 5页
• 分类号: P208
• 语种: 中文

摘要

针对全球海量地理信息数据成果数据量大、数据类型丰富、质量检查内容多的特点,本文将分布式并行计算技术、多线程技术应用到地理信息数据质量控制体系中,基于MapReduce框架实现了多源多时相海量数据并行质量控制,把算法结构由一个周期执行一个操作改造为一个周期执行多个操作的并行处理,从根本上解决重复操作多、计算慢的质量检查难题.选取核心矢量要素、DOM成果、DEM成果作为典型数据案例开展效率对比试验.试验结果表明,该技术方案的处理效率比传统技术方案提高2～3倍,有效地压缩了任务执行时间,节约了任务执行成本,实现了对海量地理信息数据的快速质量控制,保障了全球地理信息数据的成果质量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张俊辉		10	30	2.0	5.0
2	郑义		6	1	1.0	1.0
3	杜晓		14	49	4.0	6.0
4	周琦		6	14	2.0	3.0
5	林尚纬		4	0	0.0	0.0
6	万咏涛		1	0	0.0	0.0