面向P2P搜索的可定制聚焦网络爬虫

• 作者: 方启明 朱安平 杨广文 武永卫 郑纬民
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: P2P搜索 聚焦网络爬虫 链接导航 增量更新 批量更新
• 年，卷（期）: 2007,（z2）
• 页码范围: 148-152
• 页数: 5页
• 分类号: TP391
• 字数: 4728字
• 语种: 中文
• DOI: 10.3321/j.issn:1671-4512.2007.z2.039

摘要

提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件实施定制,从而构建一个资源消耗小、数据采集准确性高、可控性强的轻量级聚焦网络爬虫,以满足P2P搜索的需求.文中进一步提出一种增量更新和批量更新相结合的网络爬虫数据更新机制,这种混合更新机制降低了增量更新的实现复杂性,相比批量更新具有更小的资源消耗,实验表明采用这种机制能达到较高的数据新鲜度和召回率.