基于字集特征向量的网页消重改进算法

• 作者: 冯海波 宋伟城 张伟 李洪奇 杨中国
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 字集向量 机器码向量 网页消重 数字指纹 MD5
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 理论与研发
• 页码范围: 53-57
• 页数: 5页
• 分类号: TP391
• 字数: 4289字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1503-0340

摘要

基于MD5算法计算数字指纹的网页消重算法简单而高效，在网页消重领域应用比较广泛。但是由于MD5算法是一种严格的信息加密算法，在文章内容变动很少的情况下得出的指纹结果完全不同，导致基于这种算法的网页消重技术召回率不是很高。提出了两种基于字集特征向量的网页消重改进算法，把文章内容映射到字集空间中去，计算字集空间距离来判断文章是否相似。提出的算法具有良好的泛化能力，段落中存在的调整语序和增删改个别字不会影响到对相似段落的识别，大大提高了网页消重算法的召回率。实验结果表明，算法的时间复杂度为O(n)，空间复杂度为O(1)，适合应用于大规模网页消重。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李洪奇	中国石油大学北京计算机系	50	640	15.0	23.0
2	张伟	中国石油大学北京计算机系	266	1209	20.0	26.0
3	冯海波	中国石油大学北京计算机系	1	0	0.0	0.0
4	杨中国	中国石油大学北京计算机系	10	34	3.0	5.0
5	宋伟城	中国石油大学北京计算机系	1	0	0.0	0.0