基于HTML标记和长句提取的网页去重算法

• 作者: 刘四维 夏勇明 章轶 钱松荣
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: 网页去重 页面去杂 长句 红黑树
• 年，卷（期）: 2009,（8）
• 所属期刊栏目: 技术交流
• 页码范围: 30-32
• 页数: 3页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1007-757X.2009.08.011

摘要

提出了一种高效的算法来去除互联网上的重复网页.该算法利用HTML标记过滤网页中的干扰信息,然后提取出能表征一张网页的长句作为网页的特征.通过分析两张网页所共享长句的数量,来判断两张网页是否重复.该算法还利用红黑树对网页的长句进行索引,从而把网页去重过程转换为一个搜索长句的过程,减小了算法的时间复杂度.实验结果表明该算法能够高效,准确地去除重复的网页.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱松荣	复旦大学通信工程系	72	409	11.0	15.0
2	夏勇明	复旦大学通信工程系	9	43	3.0	6.0
3	刘四维	复旦大学通信工程系	3	38	3.0	3.0
4	章轶	复旦大学通信工程系	2	22	2.0	2.0