一种新的网络爬虫带宽控制策略

• 作者: 叶允明 孟祥乾
• 来源期刊: 科技与创新
• 关键词: 网络爬虫 限定带宽 礼貌爬行
• 年，卷（期）: 2008,（33）
• 所属期刊栏目: 网络与通信
• 页码范围: 76-77,106
• 页数: 3页
• 分类号: TP391.09
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0570.2008.33.032

摘要

网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题,但是目前对这个方面的研究较少,本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略,通过对不同站点下载速度的建模分析和基于礼貌爬行的访问频率控制,得到了面向站点的爬行控制算法,最后实验证明这种方法能够充分利用所限定的带宽.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟祥乾	深圳哈尔滨工业大学深圳研究生院	1	3	1.0	1.0
2	叶允明	深圳哈尔滨工业大学深圳研究生院	1	3	1.0	1.0