基于Top-k查询约束的深网增量爬取

• 作者: 吴小莹 彭智勇 江俊彦
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: Top-k查询 Web数据库爬取 数据质量 查询代价 查询选择
• 年，卷（期）: 2017,（1）
• 页码范围: 43-53
• 页数: 11页
• 分类号: TP311
• 字数: 11054字
• 语种: 中文
• DOI: 10.16451/j.cnki.issn1003-6059.201701005

摘要

深网数据源的动态性、自治性和体量使第三方应用难以完全爬取所有Web数据.文中研究查询类型(仅允许Top-k查询)和查询资源约束下深网数据源爬取问题,提出基于Top-k查询约束的深网增量爬取方法,结合历史数据和领域知识,优化总体数据质量.首先基于查询树获得有效查询,利用历史数据和领域知识估计查询变化和查询代价.然后,基于估计的查询代价和数据质量,近似选择最优的查询子集最大化总体数据质量.实验表明文中方法较好地提高动态Web数据库爬取的效率和数据质量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭智勇	武汉大学软件工程国家重点实验室	79	799	15.0	25.0
5	江俊彦	武汉大学软件工程国家重点实验室	2	1	1.0	1.0
9	吴小莹	武汉大学软件工程国家重点实验室	2	1	1.0	1.0