基于Simhash算法的重复数据删除技术的研究与改进

• 作者: 余瀚 熊晶 陈春玲 陈琳
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 相似检测 Simhash算法 TF-IDF技术 指纹计算 汉明距离
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 85-91
• 页数: 7页
• 分类号: TP391
• 字数: 6422字
• 语种: 中文
• DOI: 10.14132/j.cnki.1673-5439.2016.03.013

摘要

为了在大规模文档去重中提高相似数据检测的精度,对基于Simhash算法的大规模文档去重技术进行深入研究.在原有算法的基础之上对Simhash签名值的计算过程作出改进,引入ICTCLAS分词技术,将TF-IDF技术作为计算权重的主要方法,同时将特征值的词性与词长两大影响因素考虑其中.然后对产生的签名值进行汉明距离的比较,从而精确地判定出待比较者是否为相似数据.实验结果表明:改进的算法性能得到提高,并且总体优于Shingle算法和原Simhash算法.通过提高签名值的精度能够实现大规模文档中相似技术的精确检测,达到理想的去重效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈春玲	南京邮电大学计算机学院	72	533	13.0	19.0
2	陈琳	南京邮电大学计算机学院	33	56	4.0	7.0
3	熊晶	南京邮电大学计算机学院	4	31	3.0	4.0
4	余瀚	南京邮电大学计算机学院	14	95	5.0	9.0