一种句子级别的中文文本复制检测方法

• 作者: 卢小康 王小华 王荣波
• 来源期刊: 杭州电子科技大学学报（自然科学版）
• 关键词: 复制检测 句子级别 倒排索引 中文信息处理
• 年，卷（期）: 2009,（6）
• 页码范围: 45-48
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-9146.2009.06.012

摘要

该文提出了一种句子级别的中文文本复制检测方法.该方法以句子为基本复制检测单位,运用最长公共子序列算法计算两篇文本之间的重复度,根据所得的重复度值来检测两篇文本是否存在复制现象以及复制的程度.在方法中,剔除句子的其他成分,提取句子中的名词作为句子的文本特征,增加了算法的鲁棒性;建立句子与文档的倒排索引,可快速索引得到存在该句子的所有文档的集合,提高了算法的速度,为大规模文本复制检测提供了一种可行的方法.实验表明,该算法对于普通网页文本复制检测能取得很好效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王小华	杭州电子科技大学计算机应用研究所	62	492	13.0	18.0
2	王荣波	杭州电子科技大学计算机应用研究所	35	126	7.0	9.0
3	卢小康	杭州电子科技大学计算机应用研究所	2	13	1.0	2.0