CCDet:一种高效的大规模中文重复网页检测方法

• 作者: 袁春风 韦永壮 黄宜华
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: CCDet算法 重复网页检测 中文句号特征 索引剪切
• 年，卷（期）: 2013,（z2）
• 所属期刊栏目: 网络大数据分析
• 页码范围: 140-152
• 页数: 13页
• 分类号: TP391
• 字数: 11268字
• 语种: 中文

摘要

重复文档检测是信息检索领域中一个非常重要的问题.由于网页结构和内容的复杂性,现有方法在网页查重上没有达到很好的准确性,且只有少量工作用于处理包含关系网页检测问题;同时,由于网页数量的巨大,重复网页检测处理时需要考虑大规模数据的并行化算法.提出一种基于句号特征的大规模重复中文网页检测方法CCDet.CCDet采用了一种基于中文句号特征来完成重复文档的相似性比对方法,与现有的主要重复网页检测算法相比,CCDet大幅提高了检测具有重复关系网页和具有包含关系网页的准确性,并拥有较高的检测效率.同时,为了适应大规模新闻网页的查重处理,使用MapReduce编程框架实现了并行化的CCDet算法,使之能够并行化地进行重复网页检测.实验结果表明,并行化的CCDet算法具有较好的检测效果和计算性能,并具有良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	袁春风	南京大学计算机科学与技术系	51	926	18.0	29.0
2	黄宜华	南京大学计算机科学与技术系	20	153	7.0	12.0
3	韦永壮	南京大学计算机科学与技术系	1	5	1.0	1.0