基于爬虫的数据监控系统

• 作者: 刘学敏 李翀 董博 董科军
• 来源期刊: 计算机系统应用
• 关键词: 数据监控 网络爬虫 云计算 分布式 可视化
• 年，卷（期）: 2017,（10）
• 所属期刊栏目: 系统建设
• 页码范围: 53-60
• 页数: 8页
• 字数: 7688字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.005978

摘要

近年来,随着互联网技术的快速发展,云计算服务开始全面普及,大型互联网公司以及中小型企业已经开始提供自己的云计算服务,中国科学院也提供了云计算服务平台——中科院“科技云”.本文针对中国科学院“科技云”项目的实际需求,参考已有商业云监控系统的功能和运行模式,设计并实现了一种基于爬虫的数据监控系统.该系统相比商业云监控系统,支持URL(布尔)类型数据监测的同时,增加了对数值类型、文本类型的监测,更好的支持第三方服务的监测,并实现了服务故障警报,监测数据可视化以及监测数据分布式存储.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	董科军	中国科学院计算机网络信息中心	21	254	10.0	15.0
2	李翀	中国科学院计算机网络信息中心	31	119	6.0	8.0
3	董博	中国科学院计算机网络信息中心	6	25	4.0	5.0
4	刘学敏	中国科学院计算机网络信息中心	8	96	5.0	8.0