结合汉明距离及语义的文本相似度量方法研究

• 作者: 李柯 胡维华 鲍乾
• 来源期刊: 杭州电子科技大学学报（自然科学版）
• 关键词: 文本相似度 向量空间模型 词频—逆文本频率 语义 汉明距离
• 年，卷（期）: 2016,（3）
• 页码范围: 36-41
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.13954/j.cnki.hdu.2016.03.008

摘要

利用VSM模型的TF-IDF算法对文本进行相似度量是文本信息处理领域的常用做法,但是该方法涉及到高维稀疏矩阵的处理,计算效率不高,不利于处理大规模文本,同时该方法忽略词项语义信息对文本的影响.另有一种基于语义的相似度算法可克服前一种方法的语义缺点,但需要知识库的支持,其建立过程的繁杂使此类算法理论多过实践.为此提出一种新的文本相似度计算方法,方法综合TF-IDF算法以及HOWNET的语义信息,并利用汉明距离计算文本相似度,避开对高维稀疏矩阵的直接处理.实验结果表明,与常用方法相比较,处理速度更快、性能更好,适用于大规模文本处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡维华	杭州电子科技大学计算机学院	67	571	13.0	20.0
2	鲍乾	杭州电子科技大学计算机学院	2	17	2.0	2.0
3	李柯	杭州电子科技大学计算机学院	1	6	1.0	1.0