基于Pig_Spark的分布式数据分析处理平台

• 作者: 于金良 朱志祥 陈晓
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: Spark Pig 大数据 内存计算框架 数据分析处理平台
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 基金项目
• 页码范围: 45-48,55
• 页数: 5页
• 分类号: TP311.52
• 字数: 4189字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2017.07.012

摘要

传统的数据分析平台Pig的执行引擎是MapReduce,由于MapReduce的局限性,使得数据处理过程中存在高延迟,内存开销大等缺点.为克服这些不足,文中基于当下最流行的内存计算框架Spark,在保留传统数据分析平台Pig语言特性和基础设施的基础上,开发实现了一种全新的数据分析处理平台,并通过具体实验对比两个数据平台的性能.实验结果证明,基于Saprk的数据分析平台在数据处理速度上远远高于传统的数据分析平台Pig.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱志祥		95	692	13.0	21.0
2	于金良		9	90	6.0	9.0
3	陈晓		2	4	2.0	2.0