基于HTMLParser信息提取的网络爬虫设计

• 作者: 易平 郑力明
• 来源期刊: 科技与创新
• 关键词: 网络爬虫 垂直搜索 HTMLParser
• 年，卷（期）: 2009,（15）
• 所属期刊栏目: 网络与通信
• 页码范围: 123-124,69
• 页数: 3页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0570.2009.15.049

摘要

无论是通用搜索还是垂直搜索,其关键的核心技术之一就是网络爬虫的设计.本文结合HTMLParser信息提取方法,对生活类垂直搜索引擎中网络爬虫进行了详细研究.通过深入分析生活类网站网址的树形结构的构架,开发了收集种子页面URL的模拟搜索器,并基于HTMLParser的信息提取方法,从种子页面中提取出与生活类主题相关的目标URL.经实验测试证明该爬虫的爬准率达93.552%,爬全率达96.720%,表明该网络爬虫是有效的,达到中等规模的垂直搜索企业级应用的要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑力明	暨南大学信息科学技术学院	68	779	15.0	25.0
2	易平	暨南大学信息科学技术学院	2	24	1.0	2.0