基于Hadoop的高性能海量数据处理平台研究

• 作者: 徐晟晨 杨凯 罗壮 翟岩龙
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: CPU/GPU协同计算 Hadoop 海量数据处理 高性能计算
• 年，卷（期）: 2013,（3）
• 所属期刊栏目: 2012'HPC专栏
• 页码范围: 100-103
• 页数: 4页
• 分类号: TP309
• 字数: 4157字
• 语种: 中文

摘要

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力.将具有超强并行计算能力的GPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构.以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记.通过定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行.该平台将GPU的计算能力融合到MapReduce框架中,可高效处理海量数据.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	翟岩龙	北京理工大学计算机学院	8	82	3.0	8.0
2	杨凯		5	69	3.0	5.0
3	罗壮	北京理工大学计算机学院	1	61	1.0	1.0
4	徐晟晨	北京理工大学计算机学院	1	61	1.0	1.0