基于编辑距离的网页去重策略

• 作者: 丁泽亚 张全
• 来源期刊: 网络新媒体技术
• 关键词: 互联网 网页去重 指纹 编辑距离
• 年，卷（期）: 2013,（6）
• 所属期刊栏目: 综述与评论
• 页码范围: 1-7
• 页数: 7页
• 字数: 6578字
• 语种: 中文

摘要

互联网中存在着大量的重复网页,在进行信息检索或大规模网页采集时,网页去重是提高效率的关键之一.本文在研究“指纹”或特征码等网页去重算法的基础上,提出了一种基于编辑距离的网页去重算法,通过计算网页指纹序列的编辑距离得到网页之间的相似度.它克服了“指纹”或特征码这类算法没有兼顾网页正文结构的缺点,同时从网页内容和正文结构上进行比较,使得网页重复的判断更加准确.实验证明,该算法是有效的,去重的准确率和召回率都比较高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张全	中国科学院声学研究所	67	434	12.0	16.0
2	丁泽亚	中国科学院声学研究所	3	3	1.0	1.0