基于逆概念频率的词语相似度计算

• 作者: 孙晶 张东站
• 来源期刊: 厦门大学学报（自然科学版）
• 学科: 工学
• 关键词: 知网 词语相似度 逆概念频率 义原权重
• 年，卷（期）: 2015,（2）
• 页码范围: 257-262
• 页数: 6页
• 分类号: TP391.1
• 字数: 7461字
• 语种: 中文
• DOI: 10.6043/j.issn.0438-0479.2015.02.018

摘要

词语相似性度量在服务选择、自然语言处理、文献检索等领域具有重要的作用,目前通用的词语相似度计算方法是利用《知网》对词的概念解释得出词语之间相似度.对《知网》结构进行分析,认为利用《知网》计算词的相似度的方法中概念的4项基本结构的权重应该动态产生,并提出区分度作为衡量4项基本结构的动态权重.在分析现有研究基础上,借鉴逆文档频率(IDF)权重计算思想,认为义原的区分度与义原在所有概念的相应位置中出现次数成反比,提出了一种基于义原出现频次的义原权重计算方法:逆概念频率(inverse concept frequency,ICF).通过分析概念的组织结构,计算第一基本义原结构、其他基本义原结构、关系义原结构、关系符号结构中各义原的ICF权重,将4个基本结构中的最大义原ICF权重作为基本结构的ICF权重.利用动态ICF值逼近基本结构的区分度,进而计算词语相似度.通过对真实数据的实验对比可以看出ICF算法能有效提高计算词语相似度的准确率.相比较传统算法平均前160个词准确率从30.74％提高到72.28％,平均召回率从15.87％提高到49.64％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张东站	厦门大学信息科学与技术学院	43	357	9.0	18.0
2	孙晶	厦门大学信息科学与技术学院	1	8	1.0	1.0