搜索引擎索引网页集合选取方法研究

• 作者: 李智超 茹立云 马少平
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 搜索引擎 内容签名 文本聚类 机器学习 线性回归模型
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 信息检索与推荐
• 页码范围: 2239-2247
• 页数: 9页
• 分类号: TP391.3
• 字数: 8201字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2014.20130340

摘要

随着互联网的快速发展,网页数量呈现爆炸式增长,其中充斥着大量内容相似的或低质量的网页.对于搜索引擎来讲,索引这样的网页对于检索效果并没有显著作用,反而增加了搜索引擎索引和检索的负担.提出一种用于海量网页数据中构建搜索引擎的索引网页集合的网页选取算法.一方面使用基于内容签名的聚类算法对网页进行滤重,压缩索引集合的规模;另一方面融合了网页维度和用户维度的多种特征来保证索引集合的网页质量.相关实验表明,使用该选取算法得到的索引网页集合的规模只有整个网页集合的约1/3,并且能够覆盖绝大多数的用户点击,可以满足实际用户需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李智超		1	12	1.0	1.0