阿里云实现Spark的分布式计算

• 作者: 何军 张丹阳 曹维焯 薛志云
• 来源期刊: 福建电脑
• 关键词: 大数据 Spark 云计算服务 分布式计算
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 基金项目论文
• 页码范围: 23-24,29
• 页数: 3页
• 字数: 2707字
• 语种: 中文

摘要

随着计算机与互联网技术的不断发展，云计算已经成为一种随时随地根据需要而提供的公共服务。本文以国内流行的阿里云计算平台为例，讨论了如何在云服务器上实现基于内存的Spark分布式计算，其中包括Linux系统云服务器的使用，Spark集群的安装部署以及Spark数据处理。通过对三个ECS节点的部署，验证了Spark在阿里云上进行分布式计算的可行性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何军	南京信息工程大学电子与信息工程学院	24	185	9.0	13.0
2	薛志云	南京信息工程大学电子与信息工程学院	2	42	2.0	2.0
3	张丹阳	南京信息工程大学电子与信息工程学院	2	42	2.0	2.0
4	曹维焯	南京信息工程大学电子与信息工程学院	2	42	2.0	2.0