一种Deep Web爬虫爬行策略

• 作者: 余建桥 刘徽 黄宽娜
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Deep Web页面 反馈机制 爬行策略 聚焦爬虫 网络数据库 分类器
• 年，卷（期）: 2012,（11）
• 所属期刊栏目: 开发研究与设计技术
• 页码范围: 284-286
• 分类号: TP393
• 字数: 3738字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2012.11.086

摘要

Deep Web包含丰富的、高质量的信息资源,由于没有直接指向Deep Web页面的静态链接,目前大多搜索引擎不能发现这些页面,只能通过填写表单提交查询获取.为此,提出一种Deep Web爬虫爬行策略.用网页分类器的分层结果指导链接信息提取器提取有前途的链接,将爬行深度限定在3层,从最靠近查询表单中提取链接,且只提取属于这3个层次的链接,从而减少爬虫爬行时间,提高爬虫的准确度,并设计聚焦爬行算法的约束条件.实验结果表明,该策略可以有效地下载Deep Web页面,提高爬行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	余建桥	西南大学计算机与信息科学学院	49	316	9.0	15.0
2	黄宽娜	乐山师范学院数学与信息科学学院	18	96	4.0	9.0
3	刘徽	乐山师范学院数学与信息科学学院	18	98	4.0	9.0