基于Python的通用论坛正文提取研究

• 作者: 令狐雨薇 朱德孙 杨陶 赵光亮 赵顺艳 陈凤
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 通用网络爬虫 BBS 正则表达式 PYTHON语言
• 年，卷（期）: 2018,（8X）
• 页码范围: 259-260
• 页数: 2页
• 分类号: TP391.1

摘要

该文主要探讨BBS类论坛网页的文本数据的爬取与分析。首先,对该类论坛网页的HTML结构进行研究分析。在该类在论坛类网页中,文本数据主要包含链接页面中的全部主贴、全部回帖。其次,结合正则表达式、网络文本挖掘、Python工具、HTML等工具构建该类型论坛网页文本数据的抓取算法。为了便于用户阅读文本,还需要构建整理、清洗网页文本数据的算法,将抓取的网页文本数据整理为主题和回帖对应的json终极数据格局。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈凤		4	0	0.0	0.0
2	令狐雨薇		9	3	1.0	1.0
3	朱德孙		3	3	1.0	1.0
4	赵光亮		2	0	0.0	0.0
5	赵顺艳		2	0	0.0	0.0
6	杨陶		2	0	0.0	0.0