基于特征迭代的短文本去重算法

• 作者: 史喜斌 孙婧 曹海
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: SimHash算法 共享最近邻 迭代 特征选择 短文本 去重
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 54-57,63
• 页数: 5页
• 分类号: TP311
• 字数: 2577字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2015.12.011

摘要

由于短文本具有词频单一、结构简单等特点,基于传统特征选取方法的文本去重算法不适合短文本.为此,提出一种适合短文本特点的去重算法,利用SimHash算法产生短文本的指纹,使用共享最近邻算法对指纹进行聚类,根据聚类结果增删初始特征,迭代直至收敛,从而实现短文本的去重检测.在真实数据集上的实验结果表明,与现有的文本去重算法相比,该算法对于短文本具有更好的去重效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙婧	复旦大学计算机科学技术学院上海市数据科学重点实验室	26	209	4.0	14.0
2	曹海	复旦大学计算机科学技术学院上海市数据科学重点实验室	1	5	1.0	1.0
3	史喜斌	复旦大学计算机科学技术学院上海市数据科学重点实验室	1	5	1.0	1.0