基于Web的网络爬虫的设计与实现

• 作者: 关永 刘丽珍 刘江华 徐远超
• 来源期刊: 科技与创新
• 关键词: 搜索引擎 网络爬虫 信息检索 页面索引
• 年，卷（期）: 2007,（21）
• 所属期刊栏目: 网络与通信
• 页码范围: 119-121
• 页数: 3页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0570.2007.21.048

摘要

无论是站内信息检索还是特定的Web信息搜集,都离不开全文搜索引擎系统的核心模块--网络爬虫,本文详细介绍了一种设计及实现方案,包括页面搜集器和页面索引器的基本工作流程、数据存储结构、核心算法及主要的技术难点.该系统经实际运行,效果良好,最后给出了有待进一步改进的地方.