局部敏感哈希算法的内容相似度比较

• 作者: 彭绪富 童学杰
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 局部敏感 哈希 LSH Simhash 相似度 查重
• 年，卷（期）: 2019,（4）
• 页码范围: 162-163
• 页数: 2页
• 分类号: TP311

摘要

局部敏感哈希(Locality Sensitive Hashing,LSH)算法,又称局部敏感散列算法,顾名思义,该算法产生的散列值是局部敏感的。对原始内容做微小的修改后,经过LSH算法生成的散列值的变化也是微小的,因此LSH生成的散列值是局部敏感的。这一特性可以运用在论文查重、网页比较、文本比较等需要比较内容相似度的场景上。该文着重研究LSH在文本比较上的实现(Simhash算法)。首先,对给定的文本做分词降噪和加权处理得到带权重的具有给定文本特征的词语,其次,使用哈希算法为每个词语生成对应的哈希值并根据各自的权重形成加权数字串,然后合并所有词语并降维,最后,通过使用海明距离(Hamming Distance)计算生成的两个Simhash的相似度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭绪富	湖北师范大学文理学院	39	114	6.0	7.0
2	童学杰	湖北师范大学计算机科学与技术学院	3	2	1.0	1.0