Simhash算法在文本去重中的应用

• 作者: 张仕斌 张航 杨敏 盛志伟
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Simhash 信息熵 词频-逆向文件频率 权重优化 文本去重
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 工程与应用
• 页码范围: 246-251
• 页数: 6页
• 分类号: TP301
• 字数: 4299字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1902-0246

摘要

为了提升Simhash算法的文本去重效果、准确率,解决Simhash算法无法体现分布信息的缺点,提出了基于信息熵加权的Simhash算法(简称E-Simhash).该算法引入TF-IDF和信息熵,通过优化Simhash算法中的权重及阈值计算,增加文本分布信息,使得最终生成的指纹更能体现关键信息的比重,并对指纹信息与权重的关联性进行了分析.仿真实验表明:优化权重计算能有效地提升Simhash算法的性能,E-Simhash算法在去重率、召回率、F值等方面均优于传统Simhash算法,并且在文本去重方面取得了良好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨敏	成都信息工程大学网络空间安全学院	6	11	1.0	3.0
2	张仕斌	成都信息工程大学网络空间安全学院	81	634	12.0	23.0
3	盛志伟	成都信息工程大学网络空间安全学院	18	174	7.0	13.0
4	张航	成都信息工程大学网络空间安全学院	3	0	0.0	0.0