基于Bloom Filter的网页去重算法

• 作者: 倪卫明 刘四维 徐娜 汪翔
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: Bloom filter 网页去重 长句 Hash函数
• 年，卷（期）: 2011,（3）
• 所属期刊栏目: 开发应用
• 页码范围: 48-51
• 分类号: TP311
• 字数: 4106字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-757X.2011.03.016

摘要

现在的互联网中存在网页重复的问题,这些问题将会使数据挖掘,搜索的复杂度加大.现有技术一些不足之处,针对互联网中的重复网页采用基于Bloom Filter的网页去重算法.使用了现有的网页去杂算法,对网页进行预处理,同时利用Bloom Filter结构大大降低了网页去重算法的时间复杂度和空间复杂度.从网页中提炼出表示网页特征的一些长句,从而把网页去重过程转换为一个搜索长句的过程,使用Bloom Filter减小了算法的时间复杂度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	倪卫明		31	106	5.0	8.0
2	徐娜		11	92	5.0	9.0
3	汪翔		5	25	3.0	5.0
4	刘四维		3	38	3.0	3.0