一种可指定分布的海量数据生成方法

• 作者: 张仰森 李博嘉 陈若愚
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 数据生成 蓄水池抽样 分布式计算 相关关系计算 数据分布检验
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 大数据与数据科学
• 页码范围: 56-63
• 页数: 8页
• 分类号: TP391
• 字数: 6713字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2019.08.009

摘要

受到隐私保护等因素的影响,企业和政府数据公开缓慢;同时,由于网络带宽的限制,科研机构下载使用海量公开数据存在困难.现有的数据生成工具很少能在生成数据的分布形态、相关关系、准确性以及系统的可伸缩性等方面同时满足科研工作的要求.针对海量数据生成问题,提出了一种分布式数据生成模型,根据用户配置中指定的数据分布形态及相关关系,利用蓄水池抽样或随机采样算法对Web信息知识库进行采样、相关关系计算以及拼接等操作,生成数据属性符合用户配置的数据.通过在Apache Spark分布式计算引擎上进行数据生成实验,结果表明,生成数据符合指定的数据分布及相关关系要求,数据生成速度与数据规模、集群规模呈线性关系,从而证明该方法生成的数据具有较高的准确性和分布多样性,相应的系统具有较好的可伸缩性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张仰森	北京信息科技大学智能信息处理研究所	104	721	15.0	23.0
3	陈若愚	北京信息科技大学智能信息处理研究所	13	51	3.0	7.0
5	李博嘉	北京信息科技大学智能信息处理研究所	1	0	0.0	0.0