双结构网络中URL去重机制研究

• 作者: 刘旋 杨鹏 袁志伟
• 来源期刊: 太原理工大学学报
• 关键词: 统一内容标签去重 动态可分裂 布隆过滤器 双结构网络 网络爬虫
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 计算机工程
• 页码范围: 68-74
• 页数: 7页
• 分类号: TP301
• 语种: 中文
• DOI: 10.16355/j.cnki.issn1007-9432tyut.2016.01.014

摘要

针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署.实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨鹏	东南大学计算机科学与工程学院计算机网络和信息集成教育部重点实验室	52	510	13.0	21.0
2	袁志伟	东南大学计算机科学与工程学院计算机网络和信息集成教育部重点实验室	1	3	1.0	1.0
3	刘旋	东南大学计算机科学与工程学院计算机网络和信息集成教育部重点实验室	3	15	2.0	3.0