基于开源Hadoop的栅格数据分布式处理

• 作者: 冯敏 刘睿 刘磊 尹芳
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 栅格数据 分布式计算 Hadoop 数据存储 分布式存储
• 年，卷（期）: 2013,（7）
• 所属期刊栏目: 计算机与控制工程
• 页码范围: 103-108
• 分类号: TP311
• 语种: 中文

摘要

为实现大规模栅格数据的高性能分布式处理,在最新开源项目Hadoop基础上,设计与开发了一个基于MapReduce计算模型的栅格数据分布式计算系统,重点探讨该系统的栅格数据HDFS分布式存储、高效Map并行处理及结果Reduce合并等关键技术；基于上述技术实现了对大规模栅格数据分布式计算原型系统,详细介绍系统组成,并进一步将其应用于处理全国范围90 m地形数据.结果表明:分布式计算方法通过连接多计算节点,有效地提高了栅格数据计算效率,提高地学栅格数据的分析计算能力,从而解决地学相关模拟计算的性能瓶颈.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘磊	长安大学地球科学资源学院	29	219	9.0	13.0
2	刘睿	重庆师范大学地理科学学院	27	117	5.0	10.0
3	冯敏	中国科学院地理科学与资源研究所	49	670	15.0	22.0
4	尹芳	长安大学地球科学资源学院	15	106	5.0	9.0