水文大数据共享平台研究与设计

• 作者: 徐坚 杨家伟 肖志远 许崇育 郭生练 陈华 陈杰
• 来源期刊: 水资源研究
• 学科: 工学
• 关键词: 大数据 水文数据共享 分布式文件系统 分布式数据库
• 年，卷（期）: 2018,（1）
• 页码范围: 10-18
• 页数: 9页
• 分类号: TP391

摘要

本文根据水文数据的特点探讨了水文大数据标准化方法,探索数据预处理、数据索引、数据高效存储等水文大数据共享平台关键技术;利用Hadoop对多源异构数据的海量存储能力及高速计算能力,研究基于MapReduce的水文大数据分布式数据处理模型,设计和实现水文大数据共享平台,为水利及跨行业跨部门的信息共享、空间集成,以及跨学科的可持续发展研究提供技术支撑。