大数据背景下依托于Python的网络爬虫技术研究

• 作者: 周竞鸿
• 来源期刊: 信息系统工程
• 关键词: Python 网络爬虫 技术研究
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 技术应用
• 页码范围: 69-70,73
• 页数: 3页
• 语种: 中文
• DOI: 10.3969/j.issn.1001-2362.2021.03.026

摘要

网络爬虫在网络数据收集与分析上发挥了重要的作用.在大数据背景下,依托于Python的网络爬虫技术具有操作简单、应用便捷、第三方库功能齐全以及文本字符串处理效果好等优势.论文利用爬虫技术进行网页抓取具有广度最先、深度最先以及相似最先三种检索方案,包含了URL管理器模块、网页下载器模块与网页解析器模块.