基于Dirichlet分布语言建模的信息检索技术研究

• 作者: 文健 李舟军
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 突发现象 Dirichlet分布 DCM 信息检索
• 年，卷（期）: 2008,（11）
• 所属期刊栏目: 理论计算机科学
• 页码范围: 86-91
• 页数: 6页
• 分类号: TP391
• 字数: 4904字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2008.11.027

摘要

基于多项式的一元语言模型不能表示文档中的突发(Burstiness)现象,而基于Dirichlet分布的语言模型能够较好地处理突发现象.本文分析和讨论了几种基于Dirichlet分布的语言模型,并以DCM模型为基础,分别对文档和查询项进行语言建模,然后采用KL-divergence方法来度量文档模型和查询项模型的相似度.在TREC数据集上的实验表明,与基本的模型相比较,采用DCM模型能够提高信息检索的平均精确度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李舟军	北京航空航天大学计算机科学与工程学院	136	2221	23.0	43.0
2	文健	国防科技大学计算机学院	2	7	2.0	2.0