一个基于特征向量的近似网页去重算法

• 作者: 彭学平 曹玉娟 江鹏 牛振东
• 来源期刊: 中国索引
• 学科: 工学
• 关键词: 网页去重算法 特征向量 近似网页 支持向量机
• 年，卷（期）: 2009,（1）
• 页码范围: 11-14
• 页数: 4页
• 分类号: TP393.092

摘要

在搜索引擎的检索结果页面中，用户经常会得到内容相似的重复页面，它们中大多是由于网站之间转载造成的。为提高检索效率和用户满意度，提出一种基于特征向量的大规模中文近似网页检测算法DDW（Detect near—Duplicate Web Pages）。试验证明，比起其他网页去重算法（I—Match），DDW具有很好的抵抗噪声的能力及近似线性的时间和空间复杂度，在大规模实验中获得良好测试结果。