基于Spark的分布式大数据分析算法研究

• 作者: 宋泊东 张立臣 江其洲
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: Apache Kafka 分布式 Spark RDD n层 实时数据流
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 数据工程
• 页码范围: 39-44
• 页数: 6页
• 分类号: TP3
• 字数: 4680字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2019.01.008

摘要

随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战.为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统.采用Apache Storm、Apache Spice及SARKRDD处理大型分布式实时数据流,使用Apache Kafka作为消息中间件来支持异步消息的通信.设计一种支持并行运算规则的分布式大数据分析处理算法.实验结果表明:该算法可有效降低海量数据的分析速度,且支持系统内各子系统间的异构信息沟通与数据存储,足以满足高频交易市场的短期趋势预测需求.在高频、大数据处理系统中具有较高的应用价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张立臣	广东工业大学计算机学院	158	820	14.0	21.0
2	江其洲	广东工业大学计算机学院	2	8	1.0	2.0
3	宋泊东	广东工业大学计算机学院	4	7	1.0	2.0