一种用于中文文本查重的双因子相似度算法

• 作者: 刘小军 姚卫东 赵栋
• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 语法相似性 语义相似性 重稿检测
• 年，卷（期）: 2007,（12）
• 所属期刊栏目: 仿真应用研究
• 页码范围: 312-314
• 页数: 3页
• 分类号: TP301.6
• 字数: 2923字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-9348.2007.12.081

摘要

为了提高搜索引擎的检索效率以及加强知识产权保护,结合汉语语言学以及自然语言处理的研究成果,提出了一种用于中文文本查重的算法.通过引入"动词中心词"的概念,扩展停用词的范围,将文本中的部分动词组成动词序列作为文本特征串,结合串匹配算法,计算出中文文本间语法相似性.同时根据IFIDF方法提取文本特征并进行权重计算,计算出中文文本间的语义相似性.结合文本间语法相似性和语义相似性得到文章的相似度,可以判断两篇中文内容的相似性,有效地进行重稿检测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚卫东		3	22	3.0	3.0
2	刘小军		1	8	1.0	1.0
3	赵栋		1	8	1.0	1.0