基于Spark的火电大数据挖掘方法的研究

• 作者: 叶灵芝 宋鸣程 贾立
• 来源期刊: 控制工程
• 学科: 工学
• 关键词: 火电大数据 Spark 大数据挖掘 关联规则 运行优化
• 年，卷（期）: 2018,（12）
• 所属期刊栏目: 工业过程及控制系统
• 页码范围: 2158-2165
• 页数: 8页
• 分类号: TP18
• 字数: 6919字
• 语种: 中文
• DOI: 10.14107/j.cnki.kzgc.171103

摘要

传统数据挖掘在处理火电大数据时,普遍存在计算瓶颈.针对此问题,提出了基于Spark的火电大数据挖掘方法.该方法根据机组实际运行特点,对火电大数据进行稳态工况判定和基于外部约束的工况划分,并在Spark计算框架下,引入了分布式的理念,使用基于Spark的K-means算法对火电大数据进行离散化,并使用基于Spark的FP-growth算法对火电大数据进行关联规则分析,挖掘出各工况的强关联规则,进而得到符合优化目标的参数所达到过的最优值.该方法应用到安徽某电厂300 MW机组,对该机组某月10天的运行数据进行挖掘.仿真结果表明,该方法能够有效地对火电大数据进行数据挖掘,且在数据量大时,该方法与传统的数据挖掘相比计算效率具有明显优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贾立	上海大学机电与自动化工程学院上海市电站自动化技术重点实验室	22	116	6.0	10.0
2	叶灵芝	上海大学机电与自动化工程学院上海市电站自动化技术重点实验室	2	5	2.0	2.0
3	宋鸣程	上海大学机电与自动化工程学院上海市电站自动化技术重点实验室	2	5	2.0	2.0