基于网络爬虫技术的数据抓取程序的设计

• 作者: 龙香妤
• 来源期刊: 技术与市场
• 关键词: 网络爬虫 数据抓取 物联网 程序设计 Python
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 创新与实践
• 页码范围: 41-43
• 页数: 3页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-8554.2021.10.012

摘要

随着物联网时代的来临与电子信息时代的蓬勃发展,网络信息资源呈指数型增长.面对有用信息获取的需求,通用网络爬虫技术的基础上,利用Python软件对网络爬虫数据抓取程序进行深度优化.该爬虫程序可以有效地解决等待时长、信息重合与信息不完整等一系列问题,使得爬虫具有良好的性能.