基于SimHash的文本相似检测算法研究

• 作者: 冯锋 王添男
• 来源期刊: 电子测试
• 关键词: SimHash 文本相似监测 TF-IDF算法
• 年，卷（期）: 2019,（15）
• 所属期刊栏目: 网络与信息工程
• 页码范围: 87-89
• 页数: 3页
• 字数: 3378字
• 语种: 中文

摘要

simhash算法是针对处理海量数据包括文本、网页等去重问题的最重要的技术之一,本文基于传统的simhash算法去重时存在短文本准确率难以保证的问题提出一种改进的策略,通过使用多线程的方式达到指定的运算量级,对准确率的问题使用折中点的方式去解决,长短文本使用不同的汉明距离去判定文本的相似性,同时运用TF-IDF算法与标注重点相结合的方式,使得确定权重的方式在基于TF-IDF的算法下适应于更多的文本,让不同的文本确定权重变得更加的灵活.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯锋	宁夏大学信息工程学院	73	182	8.0	10.0
2	王添男	宁夏大学信息工程学院	2	0	0.0	0.0