网络机器人多线程爬行的研究与实现

• 作者: 刘觉夫 张红斌 李广丽
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 网络机器人 多线程爬行 并发调度 URL消重
• 年，卷（期）: 2010,（1）
• 所属期刊栏目: 基金项目论文
• 页码范围: 117-120
• 页数: 4页
• 分类号: TP3
• 字数: 4185字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2010.01.039

摘要

多线程爬行是高效率网络机器人实现的关键.分析在单个计算机节点上网络机器人多线程爬行的关键流程,并借鉴硬件指令流水线的执行过程研究不同多线程并发调度策略下系统的性能特点.最后,给出实现网络机器人多线程爬行的关键数据结构、并发调度方法及URL消重策略.实验数据表明:有效地控制并发和有选择地消除重复URL可以提高网络机器人的爬行速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李广丽	华东交通大学信息工程学院	34	209	8.0	12.0
2	刘觉夫	华东交通大学信息工程学院	45	307	9.0	14.0
3	张红斌	华东交通大学信息工程学院	48	189	7.0	11.0