网络爬虫效率瓶颈的分析与解决方案

• 作者: 尹江 尹治本 黄洪
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 爬行策略 套接字 多线程 网络爬虫
• 年，卷（期）: 2008,（5）
• 所属期刊栏目: 网络与通信
• 页码范围: 1114-1116,1119
• 页数: 4页
• 分类号: TP311
• 字数: 4657字
• 语种: 中文

摘要

网络爬虫的效率,直接关系到搜索引擎系统为用户提的供服务质量.如何设计高效、快速的网络爬虫,成为目前网络爬虫研究的热点.要提高网络爬虫的爬行效率,除了需要改进网络爬虫的爬行策略之外,还需要优化网络爬自身的设计,改进网络爬虫自身的结构,消除效率瓶颈.通过对网络爬虫结构、应用环境以及用户要求的分析,提出一个通用网络爬虫的改进设计方案,并通过实验得到较好的测试结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄洪	西南交通大学信息科学与技术学院	27	177	6.0	13.0
2	尹治本	西南交通大学信息科学与技术学院	34	583	10.0	24.0
3	尹江	西南交通大学信息科学与技术学院	1	63	1.0	1.0