基于Spark框架的大数据计算平台

• 作者: 江峰 江永渡 王梨 程德生 赵志武
• 来源期刊: 网络安全技术与应用
• 关键词: 大数据 Spark 分布式计算平台
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 数据安全与云计算
• 页码范围: 65-66
• 页数: 2页
• 字数: 1026字
• 语种: 中文

摘要

随着互联网和计算机技术的发展,各行各业包括人们的日常生活都在不断产生数据,数据量成几何倍数增长,单台计算机已无法完成数据处理.为了解决单机无法完成海量数据处理的问题,本文采用Hadoop分布式计算平台来解决这个问题.Hadoop的Spark模型是新兴的数据梳理引擎,Spark可直接在内存中读取弹性分布式数据集的数据,避免了I/O的频繁操作,并大大提高了数据处理速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程德生		5	0	0.0	0.0
2	赵志武		2	0	0.0	0.0
3	江永渡		5	0	0.0	0.0
4	王梨		1	0	0.0	0.0
5	江峰		1	0	0.0	0.0