平行语料库的相似语句去重算法

• 作者: 刘连芳 申文明 黄家裕
• 来源期刊: 广西科学院学报
• 学科: 工学
• 关键词: 去重 相似句子 平行语料库 类KMP
• 年，卷（期）: 2009,（4）
• 页码范围: 248-250,256
• 页数: 4页
• 分类号: TP391.3
• 字数: 3511字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-7378.2009.04.003

摘要

尝试对平行语料库中需要去重的中文句子相似情况作分类,利用整体相似因子和局部相似因子计算句子的相似度,并借鉴KMP 算法的匹配跳跃思想,提出中文字符串匹配的类KMP 算法,并对算法进行实验验证.结果表明,算法具有较好的效果,能够实现平行语料库中相似句子的去重.算法开放测试的召回率达94%,去重准确率达到84%.算法可以应用于任何长度的语句比对,适用范围广.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄家裕		3	18	3.0	3.0
2	刘连芳	广西大学计算机与电子信息学院	10	184	6.0	10.0
6	申文明	广西大学计算机与电子信息学院	3	18	3.0	3.0