基于词汇语义信息的文本相似度计算

• 作者: 周晗 张俊杰 徐浩煜 谷重阳
• 来源期刊: 计算机应用研究
• 关键词: 文本相似度 词向量 词频—逆文档频率
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 391-395
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.02.016

摘要

传统的文本相似度计算大多基于词匹配的方法,忽略了词汇语义信息,计算结果很大程度上取决于文本的词汇重复率.虽然分布式词向量可以有效表达词汇语义关系,但目前基于词向量的文本处理方法大多通过词汇串联等形式表示文本,无法体现词汇在语料库中的分布情况.针对以上问题,提出了一种新的计算方法.该方法认为基于统计的文本向量各元素之间存在相关性,且该相关性可通过词汇语义相似度表示.因此,利用词汇相似度改进了基于余弦公式的文本相似度计算方法.实验表明该方法在F1值和准确度评价标准上优于其他方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张俊杰	上海大学通信与信息工程学院	37	131	6.0	10.0
2	谷重阳	上海大学通信与信息工程学院	1	24	1.0	1.0
6	徐浩煜	中国科学院上海高等研究院新媒体无线技术研究中心	8	139	5.0	8.0
7	周晗	中国科学院上海高等研究院新媒体无线技术研究中心	6	116	3.0	6.0