分布式计算视域的网络爬虫技术研究

• 作者: 吴宇鹏
• 来源期刊: 信息与电脑
• 学科: 工学
• 关键词: 分布式计算 网络爬虫 Hadoop
• 年，卷（期）: 2021,（19）
• 所属期刊栏目: 算法语言
• 页码范围: 87-89
• 页数: 3页
• 分类号: TP393.09
• 语种: 中文
• DOI: 10.3969/j.issn.1003-9767.2021.19.025

摘要

传统的单机网络爬虫技术滞后于海量网页数据的应用场景,存在诸多的缺陷,但Hadoop、Spark等大数据分布式技术可以高效地存储和计算海量网络信息资源.因此,本文设计和应用一种基于Hadoop的分布式网络爬虫系统,进行系统架构设计和工作流程设计.该系统基于模块化设计的理念和方法,在分布式网络爬虫关键技术的依托下,进行分布式网络爬虫技术的功能模块设计,体现其可扩展、高可用性的特点,能较好地适用于海量网页信息资源的应用场景.