一种适用于流式大数据系统测试的数据生成方法

• 作者: 曹旭峰 江国华
• 来源期刊: 计算技术与自动化
• 关键词: 流式大数据生成 非线性相关性 时序相关性 流速控制
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 计算机软件及应用
• 页码范围: 139-145
• 页数: 7页
• 分类号: TP311
• 语种: 中文

摘要

在流式大数据系统测试过程中,测试数据集越真实,得到的测试报告越可信.然而真实大量的流式数据并不容易获取,因此需要一种方法能够产生大量符合真实场景特征的数据.这些特征包括数据属性相关性 、数据时序相关性 、数据流的流速变化等等.在流式大数据环境下,数据的时序相关性与流速变化尤为重要.本文提出了一种适用于流式大数据系统测试的数据生成方法,以真实场景的数据集作为种子数据,对种子数据采用最大互信息系数描述数据属性间的相关性,改进了Prim算法对属性列集合进行分组,在尽量保证属性列强相关的前提下提高生成效率,接着提出了一种时序模型选择策略,保证生成的数据在时序上的相关性,提出了双层滑动窗口的方法控制流数据输出速度.最后,本文比较了提出的方法与其他流数据生成方法的生成效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	江国华	南京航空航天大学计算机科学与技术学院	29	79	5.0	6.0
2	曹旭峰	南京航空航天大学计算机科学与技术学院	1	2	1.0	1.0