基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
为了在大规模文档去重中提高相似数据检测的精度,对基于Simhash算法的大规模文档去重技术进行深入研究.在原有算法的基础之上对Simhash签名值的计算过程作出改进,引入ICTCLAS分词技术,将TF-IDF技术作为计算权重的主要方法,同时将特征值的词性与词长两大影响因素考虑其中.然后对产生的签名值进行汉明距离的比较,从而精确地判定出待比较者是否为相似数据.实验结果表明:改进的算法性能得到提高,并且总体优于Shingle算法和原Simhash算法.通过提高签名值的精度能够实现大规模文档中相似技术的精确检测,达到理想的去重效果.
推荐文章
基于MD5算法的重复数据删除技术的研究与改进
重复数据删除技术
MD5算法
哈希冲突
存储空间
内容分块算法中预期分块长度对重复数据删除率的影响
基于内容分块
重复数据删除率
Logistic函数
利用重复数据删除和增量编码有效利用基于闪存的SSD
flash saver
重复数据删除
增量编码
固态盘
相似索引:适用于重复数据删除的二级索引
重复数据删除
相似哈希
相似索引
块查找磁盘瓶颈问题
二级索引
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于Simhash算法的重复数据删除技术的研究与改进
来源期刊 南京邮电大学学报(自然科学版) 学科 工学
关键词 相似检测 Simhash算法 TF-IDF技术 指纹计算 汉明距离
年,卷(期) 2016,(3) 所属期刊栏目 计算机与自动控制
研究方向 页码范围 85-91
页数 7页 分类号 TP391
字数 6422字 语种 中文
DOI 10.14132/j.cnki.1673-5439.2016.03.013
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 陈春玲 南京邮电大学计算机学院 72 533 13.0 19.0
2 陈琳 南京邮电大学计算机学院 33 56 4.0 7.0
3 熊晶 南京邮电大学计算机学院 4 31 3.0 4.0
4 余瀚 南京邮电大学计算机学院 14 95 5.0 9.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (18)
共引文献  (65)
参考文献  (8)
节点文献
引证文献  (18)
同被引文献  (34)
二级引证文献  (14)
1970(1)
  • 参考文献(0)
  • 二级参考文献(1)
1975(2)
  • 参考文献(0)
  • 二级参考文献(2)
1988(1)
  • 参考文献(0)
  • 二级参考文献(1)
1997(2)
  • 参考文献(1)
  • 二级参考文献(1)
2002(1)
  • 参考文献(0)
  • 二级参考文献(1)
2003(2)
  • 参考文献(0)
  • 二级参考文献(2)
2004(1)
  • 参考文献(0)
  • 二级参考文献(1)
2007(1)
  • 参考文献(0)
  • 二级参考文献(1)
2008(1)
  • 参考文献(0)
  • 二级参考文献(1)
2009(3)
  • 参考文献(1)
  • 二级参考文献(2)
2010(2)
  • 参考文献(0)
  • 二级参考文献(2)
2011(3)
  • 参考文献(1)
  • 二级参考文献(2)
2012(2)
  • 参考文献(2)
  • 二级参考文献(0)
2013(1)
  • 参考文献(0)
  • 二级参考文献(1)
2014(1)
  • 参考文献(1)
  • 二级参考文献(0)
2015(2)
  • 参考文献(2)
  • 二级参考文献(0)
2016(1)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(1)
  • 二级引证文献(0)
2016(1)
  • 引证文献(1)
  • 二级引证文献(0)
2017(8)
  • 引证文献(8)
  • 二级引证文献(0)
2018(5)
  • 引证文献(5)
  • 二级引证文献(0)
2019(15)
  • 引证文献(3)
  • 二级引证文献(12)
2020(3)
  • 引证文献(1)
  • 二级引证文献(2)
研究主题发展历程
节点文献
相似检测
Simhash算法
TF-IDF技术
指纹计算
汉明距离
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
南京邮电大学学报(自然科学版)
双月刊
1673-5439
32-1772/TN
大16开
南京市亚芳新城区文苑路9号
1960
chi
出版文献量(篇)
2234
总下载数(次)
13
总被引数(次)
14649
相关基金
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
论文1v1指导