Larbin体系结构的研究与优化

• 作者: 史国振 慈云飞 李莉 王璇 霍义霞
• 来源期刊: 网络与信息安全学报
• 学科: 工学
• 关键词: 搜索引擎 网络爬虫 Larbin 开源 优化
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 学术论文
• 页码范围: 74-80
• 页数: 7页
• 分类号: TP393
• 字数: 3879字
• 语种: 中文
• DOI: 10.11959/j.issn.2096-109x.2016.00076

摘要

网络爬虫是搜索引擎的重要组成部分，其性能直接影响搜索引擎的准确性和及时性。Larbin是一个高效、简单、功能比较完善的开源爬虫框架，基于此，介绍了几种典型的开源爬虫框架，并对其进行多维度比较；对Larbin体系结构进行详细的介绍；然后指出Larbin在程序结构和流程方面存在的不足，提出对应的优化方案；测试结果表明，改进后的方案在速度和性能方面都有所提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李莉	北京电子科技学院信息安全系	54	135	5.0	9.0
3	史国振	北京电子科技学院信息安全系	46	444	7.0	20.0
4	慈云飞	北京电子科技学院信息安全系	6	17	3.0	4.0
7	王璇	北京电子科技学院信息安全系	4	5	1.0	2.0
11	霍义霞	北京电子科技学院信息安全系	1	1	1.0	1.0