基于开源Hadoop的矢量空间数据分布式处理研究

• 作者: 冯敏 刘睿 尹芳 诸云强
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 矢量空间数据 Key/Value GeoJSON Apache Hadoop MapReduce 分布式处理
• 年，卷（期）: 2013,（16）
• 页码范围: 25-29
• 页数: 5页
• 分类号: TP391
• 字数: 4715字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1301-0294

摘要

为实现大规模矢量数据的高性能处理，在开源项目Hadoop基础上，设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点，通过分析Key/Value数据模型及GeoJSON地理数据编码格式，构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式；探讨矢量数据的MapReduce计算过程，对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述；基于上述技术，建立了矢量数据分布式计算原型系统，详细介绍系统组成，并将其应用于处理关中地区1∶10万土地利用矢量空间数据，取得较好效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	诸云强	中国科学院地理科学与资源研究所	70	1111	21.0	29.0
2	刘睿	重庆师范大学地理科学学院	27	117	5.0	10.0
3	冯敏	中国科学院地理科学与资源研究所	49	670	15.0	22.0
4	尹芳	长安大学地球科学与资源学院	15	106	5.0	9.0