基于Simhash的大数据去重改进算法

• 作者: 周春晖
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 微博 大数据 去重 Simhash 多线程
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 软件工程
• 页码范围: 38-41
• 页数: 4页
• 分类号: TP311
• 字数: 3914字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2017.07.007

摘要

数据去重是大数据预处理过程中最主要的一个步骤.为了提升大数据去重的效率,以及优化其在较差情况下的表现,本文以中文微博的原始数据为基础,在传统的Simhash方法的基础上,改进计算相似度的公式,将文本重复率纳入考虑,并在检索步骤中采用桶排序的思想,进行多次多级的线程分配以提高效率.实验结果表明,改进后的算法可以显著提升传统算法的效率和准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周春晖	上海交通大学软件学院	2	5	1.0	2.0