新型分布式Web Spider的设计

• 作者: 何绍荣 鲜乾坤
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 中央控制节点 宽度优先搜索 线程 搜索引擎
• 年，卷（期）: 2011,（16）
• 所属期刊栏目: 网络、通信、安全
• 页码范围: 80-82
• 分类号: TP301
• 字数: 2800字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2011.16.025

摘要

针对日益突出的网页访问问题,设计了一种新型分布式Web Spider.该分布式wleb Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web SerVer的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力,实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何绍荣	四川理工学院计算机学院	5	34	3.0	5.0
2	鲜乾坤	四川理工学院计算机学院	8	34	3.0	5.0