一种多源统一爬虫框架的设计与实现

• 作者: 潘洪涛
• 来源期刊: 软件工程
• 关键词: Python开发 网络爬虫 浏览器行为 HTTP请求
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 方法与技术|Method & Technology
• 页码范围: 30-33
• 页数: 4页
• 分类号: TP311.1
• 语种: 中文
• DOI: 10.19644/j.cnki.issn2096-1472.2021.04.007

摘要

面向深层网数据的爬虫技术与反爬虫技术之间的对抗随着网站技术、大数据、异步传输等技术的发展而呈现此消彼长的趋势.综合对比当前主流的爬虫和反爬虫技术,针对高效开发、快速爬取的需求,MUCrawler(多源统一爬虫框架)被设计成一种可以面向多个网站数据源,以统一的接口形式提供爬虫开发的Python框架.测试结果显示,该框架不但能够突破不同的反爬虫技术获取网站数据,在开发效率、鲁棒性和爬取效率等方面也体现出较好的运行效果.