基于Spark的大数据混合计算模型

• 作者: 程家兴 胡俊 胡贤德
• 来源期刊: 计算机系统应用
• 关键词: 大数据 混合计算模式 spark 弹性分布数据集
• 年，卷（期）: 2015,（4）
• 所属期刊栏目: 软件技术?算法
• 页码范围: 214-218
• 页数: 5页
• 字数: 3475字
• 语种: 中文

摘要

现实世界大数据应用复杂多样，可能会同时包含不同特征的数据和计算，在这种情况下单一的计算模式多半难以满足整个应用的需求，因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统，其涵盖了几乎所有典型的大数据计算模式，包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎，实现了优异的计算性能，同时还保持与Hadoop平台的兼容性。因此，随着系统的不断稳定和成熟， Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统，建立了基于Spark平台的混合计算模型架构，并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程家兴	安徽新华学院信息工程学院	93	1344	17.0	35.0
3	胡贤德	安徽新华学院信息工程学院	26	130	4.0	11.0
6	胡俊	安徽新华学院信息工程学院	8	100	2.0	8.0