基于语言节奏的大规模文档去重算法研究

• 作者: 冯志勇 李晓红 赵庚 陈钒
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文档重复性检测 语言节奏 标点
• 年，卷（期）: 2011,（11）
• 所属期刊栏目: 博士论坛
• 页码范围: 15-18,33
• 分类号: TP18
• 字数: 6245字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2011.11.005

摘要

通过对Web中大规模文档研究发现,文档中的自然段落具有特殊的语言节奏.提出了一种基于语言节奏的文档重复性检测方法,通过构建文档中自然段落的语言节奏码并进行重复性分析,实现了基于段粒度的文档重复性检测.实验表明,此方法具有良好的召回率和准确率,可以将内容完全重复的文档、部分段落内容重复的文档及打乱段落顺序重组文档的重复性均检测出来,检测精度高且占用系统资源少.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯志勇	天津大学计算机科学与软件学院	146	1072	17.0	24.0
2	李晓红	天津大学计算机科学与软件学院	40	675	14.0	25.0
3	赵庚		13	50	5.0	6.0
4	陈钒	天津大学计算机科学与软件学院	4	47	3.0	4.0