基于Linux的python多线程爬虫程序设计

• 作者: 李俊丽
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 微博网页 网络爬虫 模拟登录
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 861-863,876
• 页数: 4页
• 分类号: TP301
• 字数: 3443字
• 语种: 中文
• DOI: 10.3969/j.issn1672-9722.2015.05.026

摘要

微博作为国内最受欢迎的社交平台,海量的微博数据必然包含丰富的知识资源.如何获取这些非结构化的数据,是进行微博数据挖掘的基础.根据微博网页的特点,提出了一种基于Linux的python多线程爬虫程序设计方法,通过模拟登录新浪微博,自动获取网页内容,再从网页内容中抽取微博和用户数据,以结构化的CSV数据格式存储或存入MySQL数据库,从而获取微博海量数据和用户信息.通过和基于开放API的爬虫程序进行比较,结果表明,从较长时间考虑,基于Linux的python多线程爬虫程序拥有更加优异的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李俊丽	晋中学院信息技术与工程学院	9	37	2.0	5.0