基于语义指纹的海量文本快速相似检测算法研究

• 作者: 万正景 姜雪 梁燕 陶以政
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 文本相似 语义指纹 Simhash 同义词扩展 互信息
• 年，卷（期）: 2016,（12X）
• 页码范围: 175-177
• 页数: 3页
• 分类号: TP391.1

摘要

相似检测算法在海量文本信息处理中具有广泛的应用,尤其是Simhash算法因其指纹局部敏感特性、检测效率高在文本查重、网页检测等大规模数据处理中都十分常见。针对传统Simhash算法无法支持近义词、多义词等自然语言处理上的语义问题,通过对现有同义词扩展方案的研究,提出基于语义指纹的相似检测算法。在Simhash算法基础上,融入同义词扩展编码信息,生成文本语义指纹进行匹配检测,以提高文本相似度检测性能。另外,根据文本语义指纹建立多层分段索引,实现在海量文本信息中快速匹配出相似文档。通过与传统的Simhash算法进行实验对比,体现出该方法在准确率、效率等方面的优势。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶以政	中国工程物理研究院计算机应用研究所	30	566	9.0	23.0
2	万正景	中国工程物理研究院计算机应用研究所	4	19	2.0	4.0
3	姜雪	中国工程物理研究院计算机应用研究所	2	2	1.0	1.0
4	梁燕	中国工程物理研究院计算机应用研究所	5	2	1.0	1.0