基于贝叶斯模型的时序大数据并行去重方法研究

• 作者: 唐新宇
• 来源期刊: 自动化与仪器仪表
• 关键词: 大数据重复度 贝叶斯模型 时序大数据 并行去重
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 智能检测与信息处理|INTELLIGENT DETECTION AND INFORMATION PROCESSING
• 页码范围: 34-37
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.14016/j.cnki.1001-9227.2021.07.000

摘要

由于时序大数据的体量过大,信息检索工作变得极为困难,因此,需要利用去重算法管理时序大数据.由于传统算法对大数据类别的分类效果不够理想,导致应用去重算法的相关系统性能下降,因此,研究基于贝叶斯模型的时序大数据并行去重算法.该算法预先定义了时序大数据重复度,对冗余数据进行压缩,基于超级特征值检测相似数据,通过贝叶斯模型分类相似数据,实现对时序大数据的并行去重.测试结果表明:此次研究算法占用的空间内存更低,最低内存占用量为52.3 B,出现在数据集B内.与两种传统去重算法相比,应用该算法后系统吞吐量更高,最高可达到915 MB/S,数据去重执行时间更短,平均执行时间为30 s.可见基于贝叶斯模型的去重算法,对于大数据并行去重有更好的应用效果.