基于Storm技术的实时数据处理平台研究与实现

• 作者: 杨宇 徐万明
• 来源期刊: 电脑与电信
• 关键词: 大数据 Storm 实时计算技术 数据可视化 点击率 访客数
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 51-54
• 页数: 4页
• 分类号: TP311.13
• 语种: 中文

摘要

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台.利用tornado+ WSGI+ Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析.以网站访问日志作为数据源,对平台进行验证,通过测试,该平台能够完成网站的点击率和访客数的实时计算,具有稳定可靠、操作简单、实时性强等特点.