基于Scrapy框架的爬虫设计

• 作者: 周志彬 王海玲
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Scrapy框架 爬虫 数据可视化
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 224-228
• 页数: 5页
• 分类号: TP393
• 字数: 3761字
• 语种: 中文
• DOI: 10.11907/rjdk.191814

摘要

利用Python编程语言的Scrapy框架,为猫眼网站设计一个网络爬虫程序,对猫眼网页中《复仇者联盟4》的用户评论进行抓取.对抓取下来的网页信息进行信息提取,并将有用信息转换为dataframe格式存储到csv文件中;再将csv文件中的数据通过Pandas库进行提取排列,并利用Pyecharts库生成可视化图表的html页面;最后修改url中的setoff属性,通过改变starTtime的值,成功获取了更多评论.结果表明,比正常获取评论数的最大值990条多了16倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王海玲	厦门大学嘉庚学院信息科学与技术学院	11	2	1.0	1.0
2	周志彬	厦门大学嘉庚学院信息科学与技术学院	1	0	0.0	0.0