基于Scrapy的信息采集与分析

• 作者: 谢钢
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: Scrapy 爬虫 微博 MongoDB
• 年，卷（期）: 2020,（14）
• 所属期刊栏目: 计算机技术
• 页码范围: 96-98
• 页数: 3页
• 分类号: TP315|TP393.1
• 语种: 中文
• DOI: 10.19850/j.cnki.2096-4706.2020.14.029

摘要

针对携号转网服务背景下电信企业的客户维系和客户精细化服务需求,以及电信运营商对网上不良信息监测和清理的需要,以国内主流社交媒体为主要研究对象,进行网络爬虫策略的研究与实现.文章对基于Python的Scrapy爬虫框架技术进行了分析,设计和实现了基于Scrapy的微博信息采集与分析爬虫,其能按照关键词进行爬取和分析;爬虫使用非关系型数据库MongoDB存储数据、利用Selenium实现模拟登陆、结合Redis数据库存储爬取队列.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	谢钢		3	0	0.0	0.0