一种面向大数据的水塘采样分布式算法

• 作者: 丁际文 孔晓旺 张岩峰 于戈
• 来源期刊: 控制工程
• 学科: 工学
• 关键词: 大数据 分布式计算 水塘采样技术 数理统计
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 基于大数据的故障诊断与预测理论及技术(专题)
• 页码范围: 356-361
• 页数: 6页
• 分类号: TP301
• 语种: 中文
• DOI: 10.14107/j.cnki.kzgc.20210632

摘要

水塘采样算法构建了一个样本集合,很好地解决了对未知的数据元素等概率采样的问题.然而当数据量较大时,单机的水塘采样算法时间复杂度较高、机器负载加重.面向大数据采样的需求,提出了分布式水塘采样算法,通过增加采样比例的方法实现了多机器并行采样,而且从理论上证明了分布式水塘采样的等概率性.为处理对数据元素贡献度不同的数据集,将该算法改进为加权重分布式水塘采样算法.基于水塘采样,提出了一种适用于大数据的分布式采样算法,只依据线性时间和样本大小的空间,实验验证了该算法的可行性和有效性.