采用多种策略的分布式Web Spider

• 作者: 段红玉 陈炎龙
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 中央控制节点 宽度优先搜索 线程 搜索引擎
• 年，卷（期）: 2012,（9）
• 所属期刊栏目: 系统结构
• 页码范围: 63-65
• 分类号: TP393
• 字数: 2873字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2012.09.022

摘要

针对日益突出的网页访问问题,设计了一种新型分布式Web Spider.该分布式Web Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web server的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力.实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	段红玉	郑州牧业工程高等专科学校信息工程系	17	34	4.0	5.0
2	陈炎龙	郑州牧业工程高等专科学校信息工程系	24	77	5.0	8.0