基本python的网络爬虫的设计与实现

• 作者: 谭康裕
• 来源期刊: 电脑迷
• 关键词: Python BBS网站 网络爬虫
• 年，卷（期）: 2018,（35）
• 所属期刊栏目: 网络天地
• 页码范围: 23
• 页数: 1页
• 字数: 997字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-528X.2018.35.024

摘要

在信息和数据过载的时代下,为了更准确地获得满足需求的数据,网络爬虫是个比较好的选择.本文设计和实现了一个基于Python的的网络爬虫,使用Requests库实现HTTP的请求,基于信息路径XPath,使用正则表过式re和lxml对网页进行解析和提取,以实现提取某BBS网站版面列表、主题列表和回帖等信息,使用MySQL数据库对爬取的数据进行存储,最后对数据进行初步的统计,提取出当前网站访问量和主题数排行Top 5的信息.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	谭康裕		1	0	0.0	0.0