基于网页正文结构和特征串的相似网页去重算法

• 作者: 张玉芳 熊忠阳 牙漫
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 网页去重 网页标签值 高频标点 特征码 网页指纹相似度
• 年，卷（期）: 2013,（2）
• 所属期刊栏目: 数据库技术
• 页码范围: 554-557
• 页数: 4页
• 分类号: TP391.1|TP393.092
• 字数: 5847字
• 语种: 中文
• DOI: 10.3724/SP.J.1087.2013.00554

摘要

为了减少重复网页对用户的干扰,提高去重效率,提出一种新的大规模网页去重算法.首先利用预定义网页标签值建立网页正文结构树,实现了层次计算指纹相似度；其次,提取网页中高频标点字符所在句子中的首尾汉字作为特征码；最后,利用Bloom Filter算法对获取的特征指纹进行网页相似度判别.实验表明,该算法将召回率提高到了90％以上,时间复杂度降低到了O(n).

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊忠阳	重庆大学计算机学院	135	2447	25.0	44.0
2	张玉芳	重庆大学计算机学院	125	2737	26.0	48.0
3	牙漫	重庆大学计算机学院	2	58	2.0	2.0