基于改进TF-IDF的百度百科词语相似度计算

• 作者: 杨欣 郭建彬
• 来源期刊: 甘肃科学学报
• 学科: 工学
• 关键词: TF-IDF 百度百科 词语相似度 词语代表性
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 经济管理
• 页码范围: 143-147
• 页数: 5页
• 分类号: TP391.1
• 字数: 3703字
• 语种: 中文
• DOI: 10.16468/j.cnki.issn1004-0366.2019.02.025

摘要

基于百度百科对词语相似度计算进行研究,结合TF-IDF算法和词条百度百科内容,提出一种基于改进TF-IDF的百度百科词语相似度计算方法.TF-IDF算法对文本中词语权重进行计算时,面临部分代表性较好的词语权重较低的问题,通过引进百科词条中词语分布的类别信息,包括词语在类内、类间分布对词语权重的影响改进词语权重计算,此外,根据词语在全集中出现的频率定义词语的代表性,通过计算百科词条中词语的权重因子,构建词条的相关向量,根据向量之间余弦值计算词语相似度.实验表明,相对于不使用TF-IDF方法计算权重和基于经典TF-IDF方法计算权重,结合类别信息的TF-IDF方法和定义代表性的TF-IDF方法提高了词语相似度计算的准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨欣	天津大学管理与经济学部	5	9	2.0	2.0
2	郭建彬	天津大学管理与经济学部	1	2	1.0	1.0