基于Simhash的中文文本去重技术研究

• 作者: 周巧凤 图尔贡·麦提萨比尔 彭双和
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 重复数据删除 Simhash hash 数据分块
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 应用开发研究
• 页码范围: 137-140,145
• 页数: 5页
• 分类号: TP311
• 字数: 3032字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.11.030

摘要

随着计算机技术的飞速发展,各领域存储系统中的数据存储量迅猛上升,而其中的冗余数据也呈不断增加趋势.以往的研究表明,某些存储系统中的冗余数据已达60%,其存储管理成本较高.处理冗余数据已成为目前存储系统研究的热点.为此,提出了一种基于Simhash的中文文本去重方案.该方案采用数据块作为粒度对重复数据进行去重处理,主要是将中文文本中的".?!"等特殊字符作为分割点,对数据进行相应的分块处理,并以Simhash作为唯一标识,通过海明距离(Hamming Distance)来判断其相似性并以此为依据进行数据去重.对比验证实验结果表明,相比于传统的hash去重技术,提出的基于Simhash的去重方案具有更高的去重率和准确率,展现了较好的应用价值和应用前景.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭双和	北京交通大学计算机与信息技术学院	17	78	5.0	8.0
2	图尔贡·麦提萨比尔	北京交通大学计算机与信息技术学院	2	6	1.0	2.0
3	周巧凤	北京交通大学计算机与信息技术学院	1	6	1.0	1.0