基于Hadoop生态系统的工业实时数据及历史数据分析

• 作者: 刘昇 周洋 王海峰 鲁延灵
• 来源期刊: 中国设备工程
• 学科: 工学
• 关键词: Hadoop 生态系统 实时数据 历史数据 分析
• 年，卷（期）: 2020,（23）
• 所属期刊栏目: 智能制造与趋势
• 页码范围: 32-33
• 页数: 2页
• 分类号: TP311.13
• 语种: 中文

摘要

随着大数据相关技术的发展与运用,传统制造业实现"智能制造",需要将大数据相关技术应用到企业中,但目前制造业的信息系统对大数据管理还面临许多问题,难以适应当前制造业发展的需求.随着Hadoop生态系统的不断完善,我们对数据的存储、分析能力得到极大地提高.Hadoop生态系统基于HDFS文件系统的分布式、可靠、高可用性工作.我们的大数据平台也是在这个基础上融合消息中间件保证了数据一致性,一定程度上防止了数据丢失的问题;并且添加了缓存机制进行实时数据的处理.在这个基础上充分解决了对数据的存储、丢失问题;也解决了对数据的分析计算、保证业务数据一致性等问题.