基于Python爬虫的校园数据获取

• 作者: 何佳蕾 徐海蛟 杨振宇 王佳鹏 苏艺航
• 来源期刊: 电脑知识与技术
• 学科: 工学
• 关键词: 网络爬虫 HTTP分析 模拟登陆 网络反爬 Scrapy框架
• 年，卷（期）: 2019,（17）
• 所属期刊栏目: 软件设计开发
• 页码范围: 86-88
• 页数: 3页
• 分类号: TP393
• 字数: 3381字
• 语种: 中文

摘要

随着移动时代的到来,只适配了电脑网页、性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求.为此,设计了一种基于网络爬虫的高实用性查询系统.它首先通过Python爬虫以HTTP(hypertext transport protocol)分析与模拟方法获取校园教务系统的网页数据,然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据,最后存入高速NoSQL数据库以供快速查询.通过课表获取实例,验证了该设计的可行性与有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	苏艺航	广东第二师范学院计算机科学系	2	1	1.0	1.0
2	徐海蛟	广东第二师范学院计算机科学系	10	7	1.0	2.0
3	何佳蕾	广东第二师范学院计算机科学系	5	2	1.0	1.0
4	杨振宇	广东第二师范学院计算机科学系	2	1	1.0	1.0
5	王佳鹏	广东第二师范学院计算机科学系	3	2	1.0	1.0