一种数据采集与分析平台的研究与设计

• 作者: 杨宇
• 来源期刊: 电脑与电信
• 学科: 工学
• 关键词: Scrapy数据采集 Kettle数据清洗 MySQL Web系统 Flask Echarts
• 年，卷（期）: 2021,（11）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 90-94
• 页数: 5页
• 分类号: TP311.13
• 语种: 中文

摘要

随着互联网大数据技术的不断发展,网络数据采集技术成为热门的研究领域之一.基于Python语言下的数据采集功能库如Urllib、Requests、Selenium等模块效率低、易阻塞,并且目前的数据采集和分析平台都是独立的功能模块,没有形成闭环,用户体验差.为了解决上述问题,提出一种数据采集和分析平台,首先使用Scrapy框架完成数据采集,其次将采集到的数据通过Kettle工具进行数据清洗,再次,将处理好的结果存入MySQL数据库,最后利用Flask框架,结合Echarts技术搭建Web系统,对数据分析结果进行可视化.以北京公交网站数据作为爬虫测试平台,通过对公交线路类型、公交路线等信息进行采集分析及结果展示,分析结果对城市公交的规划具有一定的指导意义,同时,平台具有稳定可靠、操作简单、实时性强等特点.