基于Golang的地震数据共享平台Crawlab爬虫框架的实现

• 作者: 靳一飞 韦廷岳 黄猛 黄诗涵
• 来源期刊: 现代信息科技
• 学科: 地球科学
• 关键词: 地震数据 地震数据共享 Golang Docker 数据处理
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 信息技术
• 页码范围: 28-29
• 页数: 2页
• 分类号: TP391.3|P315.69
• 字数: 2489字
• 语种: 中文
• DOI: 10.3969/j.issn.2096-4706.2020.02.011

摘要

网络技术快速发展,信息资源多种多样,面对具有范围广、信息量大等特点的地震数据共享平台,如何快速又准确地抓取有用的相关信息十分重要,因此爬虫为该地震数据共享平台的重要技术之一.构建使用Docker部署的基于Golang的Crawlab的爬虫框架进行数据爬取及数据处理的地震数据共享平台,解决传统爬虫技术在面对庞大数据量时会出现的效率低下问题.