基于正文结构和长句提取的网页去重算法

• 作者: 冯胜 刘宇 敖民 杨吉云 黄仁
• 来源期刊: 计算机应用研究
• 关键词: 网页去重 正文结构树 长句提取 层次指纹
• 年，卷（期）: 2010,（7）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2489-2491,2497
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2010.07.024

摘要

针对网页重复的特点和网页正文的结构特征,提出了一种动态的、层次的、鲁棒性强的网页去重算法.该方法通过将网页正文表示成正文结构树的形式,实现了一种动态的特征提取算法和层次指纹的相似度计算算法.特征提取利用长句提取算法保证了强鲁棒性.实验证明,该方法对镜像网页和近似镜像网页都能进行准确的检测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄仁	重庆大学计算机学院	34	423	13.0	19.0
2	刘宇	重庆大学计算机学院	47	272	10.0	14.0
3	杨吉云	重庆大学计算机学院	18	207	8.0	14.0
4	冯胜	重庆大学计算机学院	2	29	1.0	2.0
5	敖民	重庆大学计算机学院	1	29	1.0	1.0