基于GPU的Spark大数据技术在实验室的开发应用

• 作者: 何军 周情涛 胡昭华
• 来源期刊: 实验室研究与探索
• 学科: 工学
• 关键词: 大数据处理 异构计算 图形处理器
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 计算机技术应用
• 页码范围: 112-116,131
• 页数: 6页
• 分类号: TP302.1
• 字数: 5118字
• 语种: 中文

摘要

在大数据时代,兼顾大数据处理与高性能计算是目前对计算机系统的迫切需求.针对Spark大数据处理与基于GPU的高性能计算,分析了基于GPU的Spark技术.它主要通过构建CPU和GPU的异构并行,使计算机获得强大的计算能力,并在实验室环境下探讨了Spark-GPU技术的实现,阐述了算法实现的技术流程.在此基础上,通过仿真实验评估了Spark和Spark-GPU技术的性能.实验表明,Spark-GPU技术可以达到上百倍的加速比,这对图像处理以及信息检索等领域的发展都具有重要推动作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡昭华	南京信息工程大学电子与信息工程学院	29	203	9.0	13.0
2	何军	南京信息工程大学电子与信息工程学院	24	185	9.0	13.0
3	周情涛	南京信息工程大学电子与信息工程学院	1	9	1.0	1.0