基于文件路径的信息集群中重复数据消除研究

• 作者: 杨美艳 徐庆增
• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 文件路径 信息集群 重复数据 消除 目录名称 存储节点
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 仿真服务化
• 页码范围: 462-466
• 页数: 5页
• 分类号: TP301
• 语种: 中文
• DOI: 10.3969/j.issn.1006-9348.2022.02.089

摘要

传统方法在删除重复数据时逻辑顺序较为混乱,导致重复数据消除效果欠佳.为解决上述问题,基于文件路径,对信息集群中重复数据消除方法展开研究.根据重复数据消除方法分块理念与文件系统中的目录名称,探析文件路径的重复数据消除原理.通过分块筛选存储数据完成数据对比,从而去除数据备份并用指向唯一的实例指针代替.在界定元数据信息的基础上,对文件部分和数据块模块中的重复数据进行消除,并采用文件路径信息集群的多个存储节点来加快消除速度.同时,利用元数据信息赋予数据可恢复性能,确保数据的可靠性.仿真结果表明:上述方法不仅有效提升了对重复数据的消除效果,且消除过程时耗较短,具有高效性和可靠性.