python网络爬虫爬取策略对比分析

• 作者: 翟普
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 网络爬虫 异步爬虫 scrapy框架爬虫
• 年，卷（期）: 2020,（1）
• 页码范围: 29-30
• 页数: 2页
• 分类号: TP393

摘要

随着网络技术的迅猛发展,网络已经成为信息的载体,网络随处可见,打开网络,大量的信息充斥而来。如何有效提取并利用网络中有价值的信息将会成为未来一个很大的挑战。网络爬虫是一个可以自动提取网页的程序,从万维网上下载网页,提取信息。通常爬取的页面比较多,如何快速有效地爬取页面是关键,该文通过当当网新书畅销排行榜实例来分析对比现有的四种方式,得出结果异步爬虫和scrapy框架爬虫速度最快。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	翟普		4	1	1.0	1.0