信息检索中的带权邻近度度量研究

• 作者: 俞晓明 关峰 刘悦 程学旗 薛源海
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 带权邻近度 度量方法 BM25 查询词重要性 信息检索
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 信息检索与推荐
• 页码范围: 2216-2224
• 页数: 9页
• 分类号: TP391
• 字数: 5802字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2014.20130339

摘要

信息检索需要解决的主要问题是为信息索取者提供相关、准确甚至完整的信息.大量的传统检索模型基于词袋假设进行建模,不考虑查询词之间的相互联系.词项邻近度信息在现有的研究中常被用于提升经典信息检索模型的检索效果,但大部分工作没有考虑查询中各个词重要性的差异.在现代信息检索的查询请求中,查询词之间不仅不完全相互独立,而且分别具有不同的重要程度.因此,在计算邻近度信息时对查询词的重要性进行区分,将有助于提高检索效果.带权邻近度BM25模型(WP-BM25)使用待检索数据集的背景信息对查询词的重要性进行区分,并将带权邻近度度量方法整合到BM25模型中.在TREC评测的3个标准数据集FR88-89,WT2G和WT10G上的一系列对比实验表明,该模型具有较好的鲁棒性,且能够使检索效果得到显著提升.