基于折叠技术的大数据样本洗牌算法研究

• 作者: 李庆 刘涵阅 张春生
• 来源期刊: 计算机技术与发展
• 关键词: 折叠技术 大数据 洗牌算法 局部有效性 Guid
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 大数据分析与挖掘
• 页码范围: 43-47
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2021.05.008

摘要

大数据处理效率问题是目前的研究热点,而基于样本抽样技术可降样本数量,是提高大数据处理效率的方法之一.文中提出一种基于折叠技术的大数据洗牌算法,首先给出洗牌算法的基本原理,同时定义离散度和均匀度两个评价指标,并从时间效率、离散度和均匀度3个角度进行了仿真实验.实验结果表明,基于折叠技术的大数据洗牌算法具有较高的时间效率,当样本分段数为样本总数的5％,循环次数为样本总数的2％时,离散度和均匀度明显优于其他基于随机技术的洗牌算法.基于折叠技术的大数据洗牌算法为大数据抽样和提高局部样本的可用性提供了一个新的途径,克服了抽样不均匀对原始样本产生的影响,提高了大数据挖掘的时间效率.