一种去除重复URL的算法

• 作者: 杨岳湘 苏国荣 邓劲生
• 来源期刊: 广西师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 布隆过滤器 散列函数 URL 网页去重
• 年，卷（期）: 2010,（1）
• 页码范围: 122-126
• 分类号: TP391
• 字数: 3464字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-6600.2010.01.028

摘要

通过对Bloom Filter算法及其改进型在Web信息采集时的去重策略进行分析,结合Dynamic Bloom Filtex算法,采用动态数组对集合元素进行表示,提出了一种去重应用策略,实现了对集合中重复URL的频度查询和删除操作支持,最后使用该去重策略进行了实验并和其他策略进行了比较,实验证明该应用策略能够在误判率较低的情况下取得较好的去重效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨岳湘	国防科学技术大学计算机学院	22	200	8.0	13.0
2	苏国荣	国防科学技术大学计算机学院	2	16	2.0	2.0
3	邓劲生	国防科学技术大学信息中心	4	45	4.0	4.0