增量更新并行Web爬虫系统

• 作者: 徐文杰 陈庆奎
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Web数据抓取 并行爬虫 增量更新策略 余弦向量法
• 年，卷（期）: 2009,（4）
• 所属期刊栏目: 数据挖掘
• 页码范围: 1117-1119,1127
• 页数: 4页
• 分类号: TP391
• 字数: 4837字
• 语种: 中文

摘要

介绍了并行Web爬虫系统的总体结构,引入了增量更新爬虫策略,在提高Web海量数据更新效率的同时,考虑到机群中各个爬虫的能力不一,为了使机群中爬虫的能力得到充分应用,又提出了向量度量技术,解决了抓取任务和爬虫能力匹配的问题.对抓取任务向量、爬虫向量进行了定义,并在此基础上给出了相关的并行算法.实践表明,系统具有良好的分配适应性,并可以在此基础上渐增式地提高网页库新鲜度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈庆奎	上海理工大学计算机与电气工程学院	149	769	14.0	22.0
2	徐文杰	上海理工大学计算机与电气工程学院	5	19	3.0	4.0