支持Unikernel的流式计算引擎:Hummer

• 作者: 张志斌 李冰 程学旗 钟巧灵
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 大数据 数据流 分布式计算 流处理系统 微内核操作系统
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 大数据
• 页码范围: 1755-1766
• 页数: 12页
• 分类号: TP311
• 字数: 6769字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2019.01755

摘要

社会计算中,社会公共安全、企业商务智能和舆情计算等众多领域均对实时计算的性能提出了越来越高的要求.流式计算引擎作为大数据计算研究领域的研究热点之一,致力于提供高吞吐量和低延迟的实时计算能力.流式处理任务对处理延迟非常敏感,数据价值随着处理时长的增长而快速递减.传统流式计算引擎设计中,操作系统、JVM等占用大量计算资源,如何提升计算资源利用率成为目前亟待解决的问题.为此,本文提出了一种基于C++语言实现的支持Unikernel的高性能实时数据分析计算引擎Hummer.首先,通过引入Unikernel机制,Hummer可绕过传统操作系统,直接运行于裸机或虚拟化层,减少传统操作系统无关组件带来的性能开销,支持分布式环境下的快速部署与启动,为高性能大数据计算引擎设计提出新的思路.其次,通过使用Unikernel对计算引擎进行封装,解决了C++应用需本地化编译、难以在集群中部署的问题.最后,系统使用灵活的网络通信方案,支持异构网络部署及网络资源隔离.实验表明,Hummer端到端处理延迟低于30 ms,较Flink系统低2倍,较Spark Streaming低15.8倍,且吞吐量达到Flink的2倍.使用Unikernel封装的Hummer系统镜像仅为100MB,启动时间约为2s.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李冰	中国科学院计算技术研究所中国科学院网络数据科学与技术重点实验室	67	409	12.0	16.0
5	张志斌	中国科学院计算技术研究所中国科学院网络数据科学与技术重点实验室	82	365	9.0	19.0
9	钟巧灵	中国科学院计算技术研究所中国科学院网络数据科学与技术重点实验室	1	1	1.0	1.0