基于分布式平台的大数据分析处理系统

• 作者: 周艳芳
• 来源期刊: 电脑编程技巧与维护
• 关键词: 分布式平台 大数据 聚类 预测 Spark平台
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 数据库与信息管理
• 页码范围: 81-83
• 页数: 3页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-4052.2022.02.026

摘要

设计并实现基于分布式平台的大数据分析处理系统,基于Spark平台用以处理大规模时间序列数据.系统框架主要分为存储层、算子层和算法层.在存储层,系统基于HDFS和Hive完成对大规模时间序列数据的组织和索引.在算子层,系统为用户提供了Spark平台上时间序列数据常用的基本操作,并允许用户直接使用这些算子实现自定义的时间序列相关处理算法.在算法层,系统实现Spark平台中一些常用的时间序列分析算法,包括时间序列相似度查询、聚类和预测,用户可以直接使用这些算法进行时间序列分析.通过对系统性能和功能的测试,验证了该系统的可行性和实用性.