基于Scrapy的农业网络数据爬取

• 作者: 刘淑云 尚明华 李乔宇 王富军
• 来源期刊: 山东农业科学
• 学科: 农学
• 关键词: Scrapy 爬虫 网络数据 数据挖掘 玉米价格
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 信息技术·农业工程
• 页码范围: 142-147
• 页数: 6页
• 分类号: S126
• 字数: 4428字
• 语种: 中文
• DOI: 10.14083/j.issn.1001-4942.2018.01.030

摘要

准确、及时、高效地获取农业数据是全产业链农业信息分析预警工作的前提和基础,是提升农业信息分析预警专业化和规范化水平的关键.本研究针对互联网中存在的大量农业信息数据,以玉米价格数据为例,设计数据抓取和规范化存储策略,首先基于Scrapy框架建立对网页的请求响应,分析网页布局后对关键信息进行循环抓取,并利用正则表达式将抓取的信息提取为格式化数据,然后将数据本地化存储为Microsoft Excel表格或存储至数据库中,最后利用Echarts将数据以可视化的方式在Web端展示,从而实现对农业网络数据的挖掘和利用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘淑云	山东省农业科学院科技信息研究所	46	451	10.0	20.0
2	尚明华	山东省农业科学院科技信息研究所	34	355	10.0	18.0
3	李乔宇	山东省农业科学院科技信息研究所	11	70	4.0	8.0
4	王富军	山东省农业科学院科技信息研究所	11	40	3.0	6.0