一种高性能分布式Web Crawler的设计与实现

• 作者: 于水 叶允明 宋晖 张岭 马范援
• 来源期刊: 上海交通大学学报
• 学科: 工学
• 关键词: Web信息搜集器 分布式系统 搜索引擎
• 年，卷（期）: 2004,（1）
• 所属期刊栏目: 自动化技术、计算机技术
• 页码范围: 59-61
• 页数: 3页
• 分类号: TP391
• 字数: 2034字
• 语种: 中文
• DOI: 10.3321/j.issn:1006-2467.2004.01.014

摘要

介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现.提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想;对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论,并提供了现阶段的设计、实现方法和分布式无损链接分析算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马范援	上海交通大学计算机科学与工程系	64	1043	18.0	31.0
2	宋晖	上海交通大学计算机科学与工程系	4	172	4.0	4.0
3	张岭	上海交通大学计算机科学与工程系	6	274	6.0	6.0
4	叶允明	上海交通大学计算机科学与工程系	3	164	3.0	3.0
5	于水	上海交通大学计算机科学与工程系	15	426	11.0	15.0