面向文本拷贝检测的分布式索引

• 作者: 俞昊旻 张奇 张玥 黄萱菁
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 拷贝检测 重复检测 Map-Reduce
• 年，卷（期）: 2011,（1）
• 页码范围: 91-97
• 分类号: TP391
• 字数: 4277字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2011.01.015

摘要

如何对大规模文档集进行高效的拷贝检测是长期以来一直受到研究者们关注的问题.通常的拷贝检测算法都需要借助倒排索引.因此良好的索引结构对于算法性能至关重要.同时,随着文档集规模的增大,单机实现的索引已经不能满足拷贝检测的需求,需要引入分布式存储的索引.为了适应文档集规模的不断增大,良好的分布式索引应该同时具备较高的效率和可扩展性.为此该文比较了两种不同的分布式索引结构,Term-Split索引和Doc-Split索引,并且给出了Map-Reduce范式下建立这两种索引的实现,以及以这两种索引为基础的文本拷贝检测方法,Term-Split方法和Doc-Split方法.在WT10G文档集上进行的实验表明Doc-Split方法具有更好的效率和可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄萱菁	复旦大学计算机科学技术学院	49	2106	18.0	45.0
2	张奇	复旦大学计算机科学技术学院	13	311	7.0	13.0
3	俞昊旻	复旦大学计算机科学技术学院	2	7	2.0	2.0
4	张玥	复旦大学计算机科学技术学院	6	9	2.0	3.0