基于关联规则的海量重复数据消除系统设计

• 作者: 连雁平
• 来源期刊: 现代电子技术
• 关键词: 关联规则 数据消除 系统框架 冗余纠正 通信接口 数据序列 检测编码 消除流程
• 年，卷（期）: 2018,（23）
• 所属期刊栏目: 通信与信息工程
• 页码范围: 27-31
• 页数: 5页
• 分类号: TN911-34|TP393
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2018.23.007

摘要

结合传统消除系统中重复数据吞吐量不可控、相似判断完成时间长的问题,利用关联规则,改进设计了海量重复数据消除系统.为增强相似数据搜索速度、保证消除可靠性,对系统的总体框架进行设计,依据框架将硬件部分重新划分为重复数据检测、总吞吐量提升、消除可靠性保证、系统安全四个主要模块.应用TCP/IP,NetBEUI,IPX/SPX三种协议相结合的方式代替传统系统的NetBEUI传输协议作为核心运行基础,建立基础数据序列关联规则优化重复数据检测编码,确保海量重复数据消除流程的高效性和稳定性,完成消除系统设计.采用传统系统和改进系统对比的方式进行实验,实验结果表明,该系统的重复数据吞吐量始终维持在可控范围内,且相似判断完成时间可缩短至传统系统的12左右.