基于时效性的爬虫调度

• 作者: 韩瑞昕
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 搜索引擎 爬虫调度 回归预测 随机森林
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 计算机软件与理论
• 页码范围: 108-112
• 页数: 5页
• 分类号: TP301
• 字数: 4284字
• 语种: 中文
• DOI: 10.11907/rjdk.191420

摘要

搜索引擎作为互联网信息获取的入口,实现高效、准确的信息获取非常重要,爬虫作为搜索引擎的上游,其重要性不言而喻,特别是大数据时代信息更新频繁,如何在第一时间获取新闻是实现爬虫时效性的重要因素.为了充分利用有限资源,提升带宽利用率,设计一种基于历史数据预测的爬虫调度算法.该算法通过抓取网站历史,更新频次积累数据,使用随机森林回归建立模型,并在系统中实现爬虫调度.实验结果表明,该策略在抓取新链的命中率上提升了46％,平均成本降低了11％,平均抓取延时降低了14％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩瑞昕	北京工业大学信息学部	1	1	1.0	1.0