基于Hadoop的煤矿数据中心架构设计

• 作者: 韩安
• 来源期刊: 工矿自动化
• 学科: 工学
• 关键词: 智慧矿山 煤矿数据中心 Hadoop 大数据 云计算
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: “中国煤炭科工自动化与安全装备技术成果”专题
• 页码范围: 60-64
• 页数: 5页
• 分类号: TD67
• 字数: 4918字
• 语种: 中文
• DOI: 10.13272/j.issn.1671-251x.17436

摘要

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布.针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构.采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索.基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础.