一个集群系统上的网络信息采集器

• 作者: 沈美明 郑纬民 高塽 齐继国
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 网络信息采集 集群系统 BFS 多线程
• 年，卷（期）: 2003,（8）
• 页码范围: 1413-1417
• 页数: 5页
• 分类号: TP391
• 字数: 7051字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2003.08.002

摘要

随着硬件和网络技术的发展,集群系统已成为构建网络服务的重要方式.基于集群系统提供网络信息检索服务(如搜索引擎等)具有很大的应用价值.网络信息检索的工作基础是从网络空间采集检索数据,通常由信息采集系统完成.本文介绍一个集群系统上的网络信息采集器.该采集器利用WWW网页之间的链接关系对采集空间进行宽度优先遍历.采用多线程并发方式来提高单结点上的带宽利用率;并在多结点间实现了简单有效的协同工作机制.