面向Deep Web本地化数据集成的数据源两层选择模型

• 作者: 孙逊 崔志明 方立刚 顾才东 鲜学丰
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 深层网页 数据集成 数据源选择 数据源质量 效用模型 递归增量策略
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 32-39
• 页数: 8页
• 分类号: TP392
• 字数: 8855字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2017.03.006

摘要

针对基于数据源质量选择方法的数据源在数据爬取时存在代价大、重复率高的问题,提出一种结合两层选择模型的Deep Web数据源选择和集成方法.该方法根据数据源本身质量和数据源的效用构建数据源的两层选择模型.给出基于该模型的递归增量数据源选择和集成策略,采用基于数据源质量的选择器过滤大量低质量Deep Web数据源,仅选择若干个高质量的数据源作为第2层选择器的输入.从候选数据源集合中递归地选择,使集成系统在获得尽可能多的高质量数据的同时,避免出现较高覆盖率的k个数据源,作为集成系统最终需要爬取和集成的数据源.实验结果表明,该方法结合两类选择器的优点,缩减了候选数据源的空间并保证集成数据的质量,同时避免了系统处理大量重复数据,有效降低Deep Web数据爬取与集成的代价.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔志明		169	2304	25.0	38.0
5	鲜学丰		9	143	4.0	9.0
9	方立刚		16	32	3.0	4.0
10	顾才东		9	54	4.0	7.0