面向分布式网络爬虫的域名解析方法研究

• 作者: 王磊 赵晓永
• 来源期刊: 北京信息科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 分布式爬虫 域名解析 DNS 缓存
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 研究论文
• 页码范围: 45-49
• 页数: 5页
• 分类号: TP314
• 字数: 3705字
• 语种: 中文
• DOI: 10.16508/j.cnki.11-5866/n.2017.02.010

摘要

提出了一种分布式JVM(Java Virtual Machine)网络爬虫的域名解析缓存方法DQ Cache(Distributed Quick Cache),实现了高效的DNS缓存机制.在深入分析操作系统和JVM的域名解析工作机制基础上,结合分布式爬虫的并行化与任务多节点均匀化等特点,采用正向和负向双缓存方式,为2个缓存分别设计采用了特定的数据结构和过期策略.实验表明,该方法可以有效提升域名解析性能,同时降低各爬虫节点的内存占用和域名解析请求对网络带宽的影响,提升了分布式爬虫的整体性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王磊	北京信息科技大学信息管理学院	28	39	3.0	5.0
2	赵晓永	北京信息科技大学信息管理学院	18	14	2.0	3.0