爬虫系统中标签删除功能的设计及优化

• 作者: 邓子云
• 来源期刊: 计算机系统应用
• 关键词: 标签删除功能 递归算法 双线程设计 性能实验
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 176-181
• 页数: 6页
• 字数: 3500字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006736

摘要

在用爬虫爬取到大型商品网站的大规模网页数据集后,要将网页数据集作进一步筛选以得到目标数据集,筛选之前要做的一项准备工作就是删除网页中多余的标签.为此,用递归算法的思想给出了标签删除的算法,提出了标签删除功能的软件设计思想,对设计进行了2次设计改进及性能优化,最终采用了1个缓冲区维系线程1个标签删除线程的双线程设计思想.实验表明,优化后的标签删除功能在单机上每1000个网页的平均处理时间只需19.7 s,处理20万个网页只需1.1小时.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邓子云	长沙商贸旅游职业技术学院经济贸易学院	31	62	5.0	6.0