面向股票交易分析场景的流式大数据系统测试框架

• 作者: 史凌云 王伟 许利杰 谭励 郑莹莹 魏峻
• 来源期刊: 计算机系统应用
• 关键词: 流式大数据处理 系统性能 基准测试 Apache Spark Streaming
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 系统建设
• 页码范围: 76-83
• 页数: 8页
• 字数: 6893字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007345

摘要

分布式集群环境使得数据实时计算更为复杂,流式大数据处理系统的正确性难以保障.现有的大数据基准测试框架可以测试流式大数据处理系统的性能表现,但是普遍存在应用场景设计简单、评价指标不充分等不足.针对这一挑战,本文构造了一个面向股票交易场景的流式大数据基准测试框架,通过生成股票高频交易数据,测试系统在高流速场景下的延迟、吞吐量、GC时间、CPU资源等的性能表现.同时,通过横向测试验证流式大数据系统的扩展性.本文以Apache Spark Streaming为待测系统进行测试,实验结果表明,高流速场景下出现延迟增加、GC时间提高等性能下降问题,原因是系统输入速率的提高及并行度的增加.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王伟	中国科学院软件研究所	295	3192	30.0	44.0
7	魏峻	中国科学院软件研究所	60	775	16.0	26.0
8	谭励	北京工商大学计算机与信息工程学院	54	205	8.0	11.0
12	郑莹莹	中国科学院软件研究所	4	6	2.0	2.0
16	史凌云	北京工商大学计算机与信息工程学院	2	1	1.0	1.0
17	许利杰	中国科学院软件研究所	3	3	1.0	1.0