基于分布式架构的海量文本快速相似度检测研究

• 作者: 刘杰 张树武 晋晓琳
• 来源期刊: 中国传媒大学学报（自然科学版）
• 学科: 地球科学
• 关键词: 文本相似 Elasticsearch TF-IDF Simhash 余弦相似度
• 年，卷（期）: 2019,（1）
• 页码范围: 39-44
• 页数: 6页
• 分类号: N37
• 字数: 4851字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-4793.2019.01.007

摘要

为了在海量文本中快速精确的找到所需文本,本文提出了一种基于分布式架构的海量文本相似度检测方法.首先使用TF-IDF进行文本特征提取,然后用分布式搜索引擎Elasticsearch召回候选样本集,最后采用余弦相似度算法计算最终相似度.在全文粒度和句子粒度上,通过与指纹算法Simhash以及Simhash算法结合余弦相似度算法实验比较发现,本方法在准确率和速度上都有明显的优势,因此能够满足海量文本快速相似度检测的要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘杰	中国科学院自动化研究所数字内容技术与研究中心	218	1905	24.0	36.0
2	张树武	中国科学院自动化研究所数字内容技术与研究中心	18	61	4.0	7.0
4	晋晓琳	中国传媒大学信息工程学院	1	0	0.0	0.0