基于全文检索的文本相似度算法应用研究

• 作者: 吴钊 李向 王格
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 文本相似度 余弦 VSM Simhash
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 算法与分析
• 页码范围: 567-571,614
• 页数: 6页
• 分类号: TP301.6
• 字数: 4906字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2016.04.001

摘要

在大量的文本数据中，针对不能快速有效地提取或查找有用信息及知识这个问题，以文本相似度计算为基础的文本数据挖掘成为数据挖掘研究领域里的一个重要的课题。论文主要研究两种不同的方法 VSM 余弦算法和 Simhash来实现文本相似度的计算，首先采用传统的 VSM 余弦算法和 Simhash 算法，按照余弦公式通过内积最终计算出文本间的相似度大小 n（0＜ n＜1），最后为了实现余弦算法并提高系统效率，使用了大量容器如 Map 、Set 和 Vector 以及内积算法等。实验结果表明，余弦算法 VSM 由于其局限性不适合进行文本的相似度计算，而 Simhash 算法则具有高准确度以及可行性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李向	中国地质大学武汉计算机学院	17	147	8.0	12.0
2	吴钊	湖北文理学院数学与计算机科学学院	22	109	6.0	10.0
3	王格	湖北文理学院数学与计算机科学学院	1	13	1.0	1.0