网页去重方法研究

• 作者: 阎亚杰
• 来源期刊: 电脑开发与应用
• 学科: 工学
• 关键词: 信息抽取 网页去重 Md5
• 年，卷（期）: 2008,（8）
• 所属期刊栏目: 网络技术
• 页码范围: 60-62
• 页数: 3页
• 分类号: TP393
• 字数: 4028字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-5850.2008.08.022

摘要

随着互联网技术的高速发展,网络中网站的数量成倍增长,这些网站提供了大量的信息,但不同的网站中存在着大量的重复信息,这些信息被搜索引擎反复的索引,因此在用户使用搜索引擎检索信息的时候就会发现有很多是来自不同网站的相同信息.采用信息抽取技术提取网页正文内容,利用加密技术对文本字符串进行转换并形成唯一的数字串,通过对数字串对比,标记出具有相同内容的网页,以此来提高搜索引擎的效率和质量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	阎亚杰	四川大学计算机学院	1	17	1.0	1.0