基于Spark的分布式大数据分析建模系统的设计与实现

• 作者: 徐时芳 罗晓宾 陈阳华
• 来源期刊: 现代电子技术
• 关键词: 分布式大数据 Spark 数据分析 数据建模 非结构化数据 故障诊断
• 年，卷（期）: 2018,（20）
• 所属期刊栏目: 前沿交叉科学
• 页码范围: 172-174,178
• 页数: 4页
• 分类号: TN919-34|TM76
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2018.20.042

摘要

针对分布式大数据对数据存储、清洗、转化、聚合、挖掘和分析工作所造成的挑战,设计并实现了一种基于Spark的分布式大数据分析建模系统.该系统通过数据采集、数据存储、数据分析、数据管理和数据应用5个模块,实现结构化、半结构化及非结构化数据的适配采集与离线、在线分析处理;并使用管理和控制平台,实现系统的协调运行.软硬件实现及建模测试结果表明,所提出的系统能实现具体场景故障诊断数据的有效、精确聚类,并可满足大数据处理的速度和精度需求.