增量更新Crawler进行Web收集方法研究

• 作者: 汪建海 程菲 罗键
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 信息检索 网络爬虫 增量更新
• 年，卷（期）: 2006,（12）
• 所属期刊栏目: 计算机网络与安全
• 页码范围: 28-30,98
• 页数: 4页
• 分类号: TP393.09
• 字数: 4904字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2006.12.009

摘要

本文针对目前Web信息挖掘中存在的各种问题,对网络爬虫系统进行研究,提出了一种基于HTTP协议原理、旨在减少网络爬虫系统运行时网络流量的Web页面收集方法--增量更新Crawler方法.该方法通过Web预取技术对现有的Web链接数据库进行演化更新,可以在减少网络流量的同时获得接近现有网络爬虫系统的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗键	厦门大学自动化系	98	1025	17.0	28.0
2	程菲	厦门大学自动化系	5	27	2.0	5.0
3	汪建海	厦门大学自动化系	2	14	1.0	2.0