基于虚拟化的水务分布式大数据存储平台设计

• 作者: 于涌川 许红霞 闫健卓 高凯丽
• 来源期刊: 水利信息化
• 学科: 工学
• 关键词: 水务数据 大数据 分布式存储 存储平台 虚拟化 Hadoop集群 数据迁移
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 信息资源开发利用
• 页码范围: 17-24
• 页数: 8页
• 分类号: TV213.4
• 字数: 4937字
• 语种: 中文
• DOI: 10.19364/j.1674-9405.2019.03.004

摘要

针对自然界与人类社会二元水循环产生的海量水务观测数据,现有水务数据管理系统存在存储负荷大,数据库扩展困难,查询速度慢的问题,无法满足存储与分析的需要.针对问题,首先,结合虚拟化技术、Hadoop基础架构,设计分布式大数据存储平台的基本架构;其次,依据现有水务大数据情况及实际业务数据库表,实现分布式大数据存储平台的设计;最后,完成从集中式平台到分布式平台的数据迁移代码实现,并进行数据迁移实验测试.实验结果验证了分布式大数据存储平台设计方案的可行性与有效性,可为大规模行业数据的存储与处理提供一种理想的分布式解决方案.