基于Linux的网络爬虫系统

• 作者: 张璟 王伟 王锋 罗作民
• 来源期刊: 计算机工程
• 学科: 地球科学
• 关键词: 网络爬虫 URL调度 DNS解析 哈希算法
• 年，卷（期）: 2010,（1）
• 所属期刊栏目: 开发研究与设计技术
• 页码范围: 280-282
• 页数: 3页
• 分类号: N945.15
• 字数: 2840字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2010.01.097

摘要

针对目前影响爬虫程序效率的诸多关键因素,在研究爬虫程序内部运行机理的基础上,进行架构优化,改进爬虫程序中的相关算法.在Linux网络环境下,通过对实现的爬虫程序运行进行检测,反馈出该解决方案和改进之处具有可行性,提高了页面抓取的效率和爬虫程序的整体性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张璟	西安理工大学计算机科学与工程学院	122	1368	20.0	30.0
2	罗作民	西安理工大学计算机科学与工程学院	30	304	9.0	17.0
3	王伟	西安理工大学计算机科学与工程学院	57	636	15.0	24.0
4	王锋	西安理工大学计算机科学与工程学院	13	309	7.0	13.0