基于分层抽样的重叠深网数据源选择

• 作者: 吴小莹 彭承晨 彭智勇 江俊彦 王敏
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 数据源选择 分层抽样 数据源重叠率估计 回归
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 数据库技术
• 页码范围: 1271-1295
• 页数: 25页
• 分类号: TP311
• 字数: 18926字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005105

摘要

深网查询在Web上众多的应用,需要查询大量的数据源才能获得足够的数据,如多媒体数据搜索、团购网站信息聚合等.应用的成功,取决于查询多数据源的效率和效果.当前研究侧重查询与数据源的相关性而忽略数据源之间的重叠关系,使得不同数据源上相同结果的数据被重复查询,增加了查询开销及数据源的工作负载.为了提高深网查询的效率,提出一种元组水平的分层抽样方法来估计和利用查询在数据源上的统计数据,选择高相关、低重叠的数据源,该方法分为两个阶段:离线阶段,基于元组水平对数据源进行分层抽样,获得样本数据;在线阶段,基于样本数据迭代地估计查询在数据源上的覆盖率和重叠率,并采用一种启发式策略以高效地发现低重叠的数据源,实验结果表明,该方法能够显著提高重叠数据源选择的精度和效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王敏	武汉大学计算机学院	190	1211	17.0	28.0
2	彭承晨	武汉大学计算机学院	2	1	1.0	1.0