基于Simhash算法的海量文档反作弊技术研究

• 作者: 徐济惠
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 重复文本检测 Simhash 反作弊 签名计算
• 年，卷（期）: 2014,（9）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 103-107
• 页数: 5页
• 分类号: TP311
• 字数: 4810字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2014.09.023

摘要

以互联网重复文档反作弊需求为背景，研究了基于Simhash的海量文档反作弊技术。以Simhash算法为文档判重的核心算法作基础对该算法获取文档特征的过程进行改进，将单词意义作为衡量单词权重的一个考量因素。针对64位文档Simhash签名，提供用户维度、全文维度和黑库维度的文档判重服务，并可基于全文和段落两种粒度进行文档相似性比较。通过测试数据和分析，该技术能保证运行稳定，每个实例可存储1亿文档，平均请求耗时稳定在20 ms左右，高峰期请求耗时会增长，但一般不会超过100 ms。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐济惠		26	67	3.0	7.0