基于Scrapy框架爬取温州租房信息的研究与实现

• 作者: 涂嘉庆 范鹏程
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 租房爬虫 Scrapy框架 分布式 去重策略
• 年，卷（期）: 2019,（6X）
• 页码范围: 4-6
• 页数: 3页
• 分类号: TP274.2

摘要

该文基于Scrapy框架研究并实现了爬取温州租房信息的爬虫程序,程序采用分布式结构,运用去重算法去除重复URL提高爬虫的效率,并针对反爬虫策略提出多种解决方法。爬取的信息存储在MongoDB数据库中,最终通过测试和分析得出位置、朝向对温州租房价格的影响,得出租房性价比较高的方案。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范鹏程	温州商学院信息工程学院	2	0	0.0	0.0
2	涂嘉庆	温州商学院信息工程学院	3	0	0.0	0.0