基于DRPKP算法的文本去重研究与应用

• 作者: 俞枫 王引娜
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: 文本去重 段落主题 SimHash 相似度 MapReduce
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 开发应用
• 页码范围: 58-60
• 页数: 3页
• 分类号: TP311
• 字数: 3272字
• 语种: 中文

摘要

SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑.基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法(简称DRPKP算法),通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5％、覆盖率可提高16.34％,且去重时间更短.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王引娜		2	11	2.0	2.0
2	俞枫		9	14	2.0	3.0