基于Cassandra与Spark的降水量统计算法的 设计与实现

• 作者: 朱君 杨永毅 赵芳
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 气象 大数据 Spark Cassandra 降水量
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 基金项目
• 页码范围: 54-57,61
• 页数: 5页
• 分类号: TP315
• 字数: 2707字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2020.07.011

摘要

文中对Spark大数据处理框架进行了深入剖析,采用Scala+Hadoop+Spark软件,搭建了Spark大数据处理框架,Cassandra分布式数据库集群,根据计算降水量的应用需求,设计了数据库的分区以及列存储的对应关系.使用Spark连接Cassandra获取了长时间序列的降水量数据到RDD(弹性分布式数据集),设计算法成功进行了长时间序列小时降水量的统计.结果表明这种计算方法在计算海量数据时,较关系型数据库和传统计算方法显著提高了计算效率和正确率,符合气象大数据的计算要求,为气象服务提供了大数据算力支撑.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨永毅		6	1	1.0	1.0
2	朱君		6	6	2.0	2.0
3	赵芳		6	4	1.0	1.0