分布式主题爬虫的设计与实现

• 作者: 池勇敏 郝泳涛
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 主题爬虫 分布式 遗传算法 搜索引擎
• 年，卷（期）: 2010,（12）
• 页码范围: 135-138
• 分类号: TP3
• 字数: 4421字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2010.12.043

摘要

研究实现了一个分布式网络爬虫系统.系统架构主要分为控制节点和爬行节点两部分,并描述了分布式系统关键技术的解决方案.系统采用二级哈希映射算法进行任务分配以解决基于目标导向、负载均衡的URL分配问题,使用消息通信使节点相互协作,提出利用遗传算法作为该主题爬虫系统的搜索策略,并给出了网页更新策略的改进方法.