基于Python的爬虫技术的网站设计与实现

• 作者: 张绛丽 肖新凤 邓祖民
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: Python 爬虫 数据 豆瓣读书网
• 年，卷（期）: 2020,（14）
• 所属期刊栏目: 计算机技术
• 页码范围: 73-75,78
• 页数: 4页
• 分类号: TP391.3|TP391.1
• 语种: 中文
• DOI: 10.19850/j.cnki.2096-4706.2020.14.021

摘要

随着爬虫技术的不断完善,其功能越来越强大,也导致数据窃取问题越来越严重.很多网站都采用了反爬虫技术,因此为了正常获取数据,需要一些反爬虫策略.文章设计和实现面向定向网站的网络爬虫程序,使其能满足不同的性能要求,并阐述了定向网站爬虫的细节和应用环节.爬虫可以针对不同的主题网站分析构造URL并去重,多线程技术让爬虫具备更强大的抓取能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖新凤		16	13	2.0	3.0
2	张绛丽		7	1	1.0	1.0
3	邓祖民		1	0	0.0	0.0