基于Low-IDF-SIG的句子重复检测

• 作者: 俞昊旻 张奇 张玥 黄萱菁
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 近似重复检测 特征抽取 Low-IDF-SIG
• 年，卷（期）: 2011,（1）
• 页码范围: 123-128
• 分类号: TP391
• 字数: 5207字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2011.01.020

摘要

随着互联网上数据的爆炸式增长,互联网上产生了大量的重复数据.这些重复数据给搜索引擎、观点挖掘等许多web应用带来了严峻的问题.目前绝大部分的重复检测的算法均着重考虑文档级别,不能有效地检测出两个文档中只有一部分互为拷贝的情况.而句子级别的重复检测正是解决这类问题的一个必要步骤.该文提出了一种快速有效的句子级别的特征抽取方法——Low-IDF-Sig算法,算法依据选定的先行词从句子中抽取出改进的shingle特征以表示句子内容.真实语料库上的实验结果证明该文提出的算法能有效地提高句子级别重复检测任务的效率和精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄萱菁	复旦大学计算机科学与技术学院	49	2106	18.0	45.0
2	张奇	复旦大学计算机科学与技术学院	13	311	7.0	13.0
3	俞昊旻	复旦大学计算机科学与技术学院	2	7	2.0	2.0
4	张玥	复旦大学计算机科学与技术学院	6	9	2.0	3.0