数据需求驱动的Storm应用辅助开发框架

• 作者: 史雪菲 吴毅坚 周雯 赵文耘
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 流式计算 开发框架 数据需求 Storm
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 第十六届全国软件与应用学术会议
• 页码范围: 81-88
• 页数: 8页
• 分类号: TP311.5
• 字数: 9170字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2018.09.012

摘要

Storm支持流式数据的高性能实时计算,是一种广泛使用的流式计算框架.在Storm应用的开发中,开发人员需要针对不同的流式数据需求定制开发相应的计算模块,从而导致大量的重复工作,且难以适应数据需求的变动.如何根据流式数据格式和计算方式等数据需求,快速开发Storm应用并配置相应的环境,是提升大部分流式计算应用开发效率的重要问题.提出了流式数据需求描述方法,设计并实现了一种基于Storm的、由数据需求驱动的流式数据实时处理应用辅助开发框架,其根据业务人员描述的领域数据需求自动生成符合数据处理需求的Storm实时数据处理应用.实验表明,该框架能帮助不具备Storm开发能力甚至非软件开发人员快速配置常见的基于Storm的流式计算应用,对于常见的流式数据的实时处理需求具有一定的适应性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴毅坚	复旦大学软件学院	31	178	8.0	11.0
2	赵文耘		17	31	3.0	4.0
3	周雯	复旦大学软件学院	1	3	1.0	1.0
4	史雪菲		1	3	1.0	1.0