文档检索中文本片段化机制的研究

• 作者: 刘波 李宇
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 文本片段化机制 文档检索 相关性评分 相关片段比例 片段整合计算
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 学术研究
• 页码范围: 578-589
• 页数: 12页
• 分类号: TP391
• 字数: 8678字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1912037

摘要

文档检索是自然语言处理的研究热点,相对于短文本文档具有信息丰富且冗长的特征.在长文本检索中,查询语句与长文本中的句子往往不是全部相关,可能会出现某些高相似片段的强干扰,因此查询语句与文档之间的相关性评分不能简单采用基于词语或字符串之间的相似度计算.提出了一种文本片段化机制(TSM)进行文档检索,首先将每个候选文档划分成片段,再计算查询语句与文档片段之间的相关度,所使用的相关度匹配方案考虑了语义和词频等因素,筛选出关键的文本片段并得出相关片段比率,综合这些片段信息计算查询与文档之间的相关性得分,从而获取Top-K文档集.针对Glasgow信息检索专用数据集的实验结果表明,利用文本片段化机制进行文本匹配可以提高信息检索的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘波	暨南大学信息科学技术学院计算机系	35	214	8.0	13.0
2	李宇	暨南大学信息科学技术学院计算机系	1	0	0.0	0.0