针对科学数据的分布式爬虫研究

• 作者: 李田甜 李红艳 王显斌
• 来源期刊: 图书情报
• 学科: 工学
• 关键词: 科学数据 分布式爬虫 元数据
• 年，卷（期）: 2020,（1）
• 页码范围: 00059-00062
• 页数: 4页
• 分类号: TP393.092

摘要

科学数据库作为典型的深层网，其数据爬取存在诸多难点。本文在分析科学数据获取方法基础上，讨论了科学数据采集系统的功能模块、采集流程和数据库设计，并以Scrapy为基础框架，通过改进爬虫规则、构造检索式、优化网页结构化提取，设计并实现了一种科学数据采集方案。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王显斌	深圳技术大学图书馆	2	0	0.0	0.0
2	李田甜	深圳技术大学图书馆	1	0	0.0	0.0
3	李红艳	深圳技术大学图书馆	1	0	0.0	0.0