基于主题与概率模型的非合作深网数据源选择

• 作者: 万常选 邓松
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 深网 数据源选择 主题 概率模型 TextRank
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 数据库技术
• 页码范围: 3241-3256
• 页数: 16页
• 分类号: TP311
• 字数: 16083字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005285

摘要

在深网数据集成过程中,用户希望仅检索少量数据源便能获取高质量的检索结果,因而数据源选择成为其核心技术.为满足基于相关性和多样性的集成检索需求,提出一种适合小规模抽样文档摘要的深网数据源选择方法.该方法在数据源选择过程中首先度量数据源与用户查询的相关性,然后进一步考虑候选数据源提供数据的多样性.为提升数据源相关性判别的准确性,构建了基于层次主题的数据源摘要,并在其中引入了主题内容相关性偏差概率模型,且给出了基于人工反馈的偏差概率模型构建方法以及基于概率分析的数据源相关性度量方法.为提升数据源选择结果的多样性程度,在基于层次主题的数据源摘要中建立了多样性链接有向边,并给出了数据源多样性的评价方法.最后,将基于相关性和多样性的数据源选择问题转化为一个组合优化问题,提出了基于优化函数的数据源选择策略.实验结果表明:在基于少量抽样文档进行数据源选择时,该方法具有较高的选择准确率.