基于Scrapy框架的网络爬虫技术应用 ——以豆瓣网为例

• 作者: 阴国溶 李玉香
• 来源期刊: 中国宽带
• 关键词: Python Scrapy框架 网络爬虫 豆瓣数据
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 互联网+技术
• 页码范围: 87-89
• 页数: 3页
• 语种: 中文

摘要

本文基于Scrapy框架,以Python语言为脚本,以豆瓣网站为例,设计并实现了对电影网站票房排名TOP250条数据关键字段信息的爬取,以及对爬取数据的过滤提纯,并存储结果数据.可利用该结果做进一步的数据分析处理,得出观众的口味喜好,电影行情的发展趋势,具有一定的经济效益.