基于协程模型的分布式爬虫框架

• 作者: 刘建勋 卢厅 姜磊 彭桃 文一凭 杨济运
• 来源期刊: 计算技术与自动化
• 关键词: 协程 分布式 高性能 爬虫
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: 计算机软件及应用
• 页码范围: 126-133
• 页数: 8页
• 分类号: TP311
• 语种: 中文

摘要

网络爬虫主要受到网络延迟和本地运行效率的限制，传统的基于多线程的网络爬虫架构主要为了消除网络延迟而没有考虑到本地运行效率。在高并发的条件下，多线程架构爬虫由于上下文切换开销增大而导致本地运行效率降低，同时使得网络利用率下降，如何能够在最大化利用网络资源的情况下减小系统本地开销是一个需要研究的问题。针对以上问题，本文提出基于协程的分布式网络爬虫框架来解决，从开销、资源利用率、网络利用率上对协程框架和多线程框架进行了分析，并基于协程实现了一个分布式网络爬虫。实验表明该框架无论从开销、资源利用率和网络利用率上相对于多线程框架有比较明显的优势。