一种基于特征向量的改进DSC网页去重算法

• 作者: 徐朝辉 秦杰 赵淑梅 闫付亮
• 来源期刊: 科学技术与工程
• 学科: 工学
• 关键词: 搜索引擎 网页去重 特征项 shingle
• 年，卷（期）: 2013,（8）
• 所属期刊栏目: 研究简报
• 页码范围: 2250-2253
• 页数: 4页
• 分类号: TP391.3
• 字数: 3223字
• 语种: 中文

摘要

网页去重具有很重要的实际意义,也是信息检索领域近几年研究的热点.分析现有的网页去重算法,并对经典的DSC(digital syntactic clustering)网页去重算法进行改进.为每篇文档生成一个特征向量集合,用该特征向量集合筛选shingles;然后进行相似性比较.实验表明,该算法对重复网页判定具有很好的准确率和召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦杰	河南工业大学粮食信息处理教育部重点实验室	29	168	8.0	11.0
2	徐朝辉	河南工业大学粮食信息处理教育部重点实验室	22	150	6.0	12.0
3	赵淑梅		11	12	2.0	3.0
4	闫付亮	河南工业大学粮食信息处理教育部重点实验室	3	6	1.0	2.0