基于N-Gram的文本去重方法研究

• 作者: 卢小康 王小华
• 来源期刊: 杭州电子科技大学学报（自然科学版）
• 关键词: 文本去重 文本特征 特征映射 中文信息处理
• 年，卷（期）: 2010,（2）
• 页码范围: 61-64
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-9146.2010.02.016

摘要

中文文本去重是自然语言处理研究的一个重要方向.该文提出了一种基于N-Gram项和特征映射的文本去重方法.该方法提取N-Gram项的序列作为文本特征,将N-Gram项映射成哈希值,通过查找哈希值来判定文本是否重复.利用哈希数值查找代替字符串匹配,为实现快速的去重方法提供了一种新的可行的方法.实验表明,该算法对于普通网页文本去重能取得很好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王小华	杭州电子科技大学计算机应用研究所	62	492	13.0	18.0
2	卢小康	杭州电子科技大学计算机应用研究所	2	13	1.0	2.0