基于Spark的Canopy-FCM在气象中的应用

• 作者: 刘布春 勾志竟 宫志宏 徐梅
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: FCM Canopy Spark 气象 数据挖掘
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 应用开发研究
• 页码范围: 169-173
• 页数: 5页
• 分类号: TP39
• 字数: 3133字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2020.08.029

摘要

随着气象事业现代化水平的不断提高,气象部门积累了海量的气象数据,如何从海量的气象数据中挖掘出有用的知识,是提高气象服务能力的关键所在.针对传统聚类算法无法有效处理海量数据的问题,提出了一种基于Spark框架的Canopy-FCM(Canopy-fuzzy C-means)并行化聚类算法.该算法将Canopy算法与FCM算法相结合,避免了FCM算法对初始聚类中心敏感的问题,并结合Spark分布式框架内存计算的优势,大大降低了海量气象数据的处理时间.通过采用天津市208个区域自动气象站4～10月逐月降水观测数据,评估了天津市不同区域的降水情况.实验结果表明,提出的方法不仅可以快速有效地从气象数据中挖掘出有用的信息,同时与基于Hadoop框架下的算法相比,有更高的运行速率和加速比,也为相关部门有效地做出水旱灾害监测预警与风险防范决策提供了一种全新的思路和方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘布春	中国农业科学院农业环境与可持续发展研究所	10	381	8.0	10.0
2	宫志宏		21	164	5.0	12.0
3	勾志竟		4	0	0.0	0.0
4	徐梅		16	152	7.0	12.0