栅格地理数据并行格式转换引擎

• 作者: 姜晓慧 张帅 李满春 陈振杰 黄涛
• 来源期刊: 国防科技大学学报
• 学科: 地球科学
• 关键词: 栅格数据格式转换 并行计算 高性能计算 地理计算 Lustre并行文件系统
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 专题:地理信息系统
• 页码范围: 9-14
• 页数: 6页
• 分类号: P208
• 字数: 4580字
• 语种: 中文
• DOI: 10.11887/j.cn.201505002

摘要

如今大规模地理数据正在社会各个部门和组织中迅速积累，但是由于部门利益和历史沿袭等原因，大规模地理数据共享仍然极具挑战，相应共享技术需求仍然极其旺盛。作为地理数据共享的基础方式之一，传统单机地理数据格式转换技术，一方面受限于磁盘读写及带宽瓶颈，另一方面面对日趋庞大的数据规模，已很难满足实际应用需求。因此提出一种针对栅格地理数据的并行格式转换引擎，采用高性能计算集群环境支持大规模栅格地理数据转换共享，大幅降低了大规模栅格地理数据转换过程的时间成本。栅格地理数据并行格式转换引擎采用基于公共接口的设计理念，框架灵活、具有良好的扩展性，支持地理数据格式的读写自定义以及新数据格式添加，能够实现接入数据格式间的任意两两转换。为验证引擎框架及其处理效率，在 Lustre 并行集群环境下以格网数据交换格式（国家地理空间数据交换格式）向常见栅格地理格式的转换为示例进行了测试实验。结果表明，栅格地理数据并行格式转换引擎能够在8个节点 Lustre 集群中达到7.54的良好并行加速比。