学习资源爬虫系统设计与实现

• 作者: 胡鹏
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 网络爬虫 Web网页 学习资源
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 软件设计与开发
• 页码范围: 111-113
• 页数: 3页
• 分类号: TP319
• 字数: 2807字
• 语种: 中文
• DOI: 10.11907/rjdk.171426

摘要

互联网是信息的载体,随着信息量的迅速增长,给用户检索获取需要的互联网学习资源增加了难度和时间.因此,学习资源爬虫是亟待研究与解决的问题.实现学习资源爬虫系统的关键为:首先界定互联网学习资源的概念、类型、格式形态,然后设计学习资源爬虫结构以及抓取、解析、去重、下载功能,最后根据系统开发环境实现爬虫结果.借助webdriver、Firfox浏览器并结合反网络爬虫策略,解决动态网站脚本与服务器异步交互时的数据丢失问题,进行完整、自动、高效的批量内容下载,优化学习资源获取的准确率与效率,以获取更有价值的学习资源.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡鹏	江西财经大学软件与通信工程学院	1	3	1.0	1.0