基于改进的慢开始算法的网络机器人爬取策略的研究

• 作者: 唐雪峰 宋俊德 宋美娜
• 来源期刊: 新型工业化
• 学科: 工学
• 关键词: 计算机应用技术 网络机器人 慢开始 爬取频率
• 年，卷（期）: 2012,（11）
• 所属期刊栏目: 研制与开发
• 页码范围: 42-49
• 页数: 8页
• 分类号: TP315
• 字数: 3974字
• 语种: 中文

摘要

本文以网络信息数据挖掘技术为背景，通过对现有的网络机器人（网络爬虫）的几种不同的工作策略进行分析，提出了一种基于改进的慢开始算法的网络机器人工作策略，目的在于是找到一种自适应更新频率的网页爬取方案，使网络机器人能够智能通过对源网页更新频率、用户对该网页的访问量以及新旧网页之间的相似度、服务器系统资源等因素综合判断，来自适应的调节网络机器人对源网页的爬取频率，使在保证一定用户满意度的前提下，最大化的利用系统资源。