一种优化的网络爬虫的设计与实现

• 作者: 曹忠 赵文静
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 搜索引擎 信息采集 网络爬虫 数据缓冲池
• 年，卷（期）: 2008,（12Z）
• 页码范围: 2082-2083
• 页数: 2页
• 分类号: TP393.092

摘要

网络爬虫是搜索引擎的重要组成部分,它在搜索引擎中负责网络信息的采集。详细介绍了Web_Crawler,一种优化的网络爬虫的设计和实现,包括系统框架、主要模块、多线程工作和数据缓冲池的转存技术。Web-Crawler主要从多线程并行下载提高了速度,并利用数据缓冲池转存技术在实现快速检索的同时减少了存储空间需求这两方面来优化网络爬虫。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵文静	广州大学实验中心	17	83	5.0	9.0
2	曹忠	广州大学计算机科学与教育软件学院	14	56	5.0	7.0