大数据流式计算:关键技术及系统实例

• 作者: 孙大为 张广艳 郑纬民
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大数据计算 流式计算 流式大数据 内存计算 系统实例
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 数据库技术
• 页码范围: 839-862
• 页数: 24页
• 分类号: TP311
• 字数: 16888字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.004558

摘要

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑纬民	清华大学计算机科学与技术系	181	2698	27.0	46.0
2	孙大为	清华大学计算机科学与技术系	11	512	6.0	11.0