轻量级大数据运算系统Helius

• 作者: 丁梦苏 陈世敏
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 内存计算 大数据运算 分布式计算 有向无环图调度 容错恢复
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 第33届中国数据库学术会议(NDBC 2016)
• 页码范围: 305-310
• 页数: 6页
• 分类号: TP311.133.1
• 字数: 7098字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.02.0305

摘要

针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统-Helius.Helius支持Spark的基本操作,同时允许数据集整体修改;同时,Helius利用C/C++优化内存管理和网络传输,并采用stateless worker机制简化分布式计算平台的容错恢复过程.实验结果显示:5次迭代中,Helius运行PageRank算法的时间仅为Spark的25.12％～53.14％,运行TPCHQ6的时间仅为Spark的57.37％;在PageRank迭代1次的基础上,运行在Helius系统下时,master节点IP接收和发送数据量约为运行于Spark系统的40％和15％,而且200 s的运行过程中,Helius占用的总内存约为Spark的25％.实验结果与分析表明,与Spark相比,Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点.