基于改进的Simhash算法的相似文档识别技术

• 作者: 何丹丹 张兴兰
• 来源期刊: 计算机科学与应用
• 学科: 工学
• 关键词: 相似文档检测 Simhash算法 TF-IDF算法 指纹计算 汉明距离
• 年，卷（期）: jsjkxyyy,（2）
• 页码范围: 371-378
• 页数: 8页
• 分类号: TP3

摘要

[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于Simhash算法的相似文档识别技术进行研究改进,对Simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技术,同时将特征词的词性、词长、是否为标志词与是否被包含在标题中几大方面作为权重计算的考虑因素。最后使用汉明距离对文档签名值进行比较,从海量文档中精确地找出相似文档。[结论]:通过改进TF-IDF权重,使得改进的Simhash算法在相似文档识别准确率上优于其他算法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张兴兰		36	67	5.0	6.0
2	何丹丹		1	0	0.0	0.0