面向垂直搜索引擎的Web站点划分方案

• 作者: 孙春奇 张伟哲 李学凯 李斌 许笑
• 来源期刊: 计算机工程
• 学科: 地球科学
• 关键词: 垂直搜索引擎 任务分配 网站划分 爬虫
• 年，卷（期）: 2010,（8）
• 所属期刊栏目: 开发研究与设计技术
• 页码范围: 275-277
• 页数: 3页
• 分类号: N945
• 字数: 3895字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2010.08.096

摘要

分析传统搜索引擎分配任务的方式及存在的问题,根据垂直搜索引擎的特点,提出一种比传统方法粒度更细的任务分配方式--网站划分.该分配方式将较大规模的网站切分为若干较小规模的子集,并将子集交给若干爬虫节点并行抓取,以加快爬虫系统的整体获取速率,作为对传统方法的有效优化.将网站划分算法应用于样本数据集,验证其有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李斌	哈尔滨工业大学计算机学院	62	644	14.0	23.0
2	孙春奇	哈尔滨工业大学计算机学院	5	23	3.0	4.0
3	张伟哲	哈尔滨工业大学计算机学院	37	798	15.0	28.0
4	许笑	哈尔滨工业大学计算机学院	5	114	4.0	5.0
5	李学凯	哈尔滨工业大学计算机学院	1	7	1.0	1.0