关于中文文档复制检测算法的改进

• 作者: 孙伟 邢长征
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 中文文档 复制检测 中文分词 句子相似度
• 年，卷（期）: 2010,（8）
• 页码范围: 101-103
• 分类号: TP391
• 字数: 2720字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2010.08.028

摘要

文本复制检测是这样一种行为:它判断一个文档的内容是否抄袭、剽窃或者复制于另外一个或者多个文档.文档复制检测领域的算法有很多,基于句子相似度的检测算法结合了基于字符串比较的方法和基于词频统计的方法的优点,在抓住了文档的全局特征的同时又能兼顾文档的结构信息,是一种很好的算法.本文在该算法的基础上对相似度算法进行了改进,提出了一种新的面向中文文档的基于句子相似度的文档复制检测算法.本算法充分考虑了中文文档的特点,选择句子作为文档的特征单元, 并解决了需要人工设定阈值的问题,提高了检测精度.实验证明,无论是在效率上,还是在准确性上,该算法都是可行的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙伟		67	427	11.0	16.0
2	邢长征		41	277	10.0	14.0