一种基于Hadoop+CUDA实现相关器的方法

• 作者: 孙彦猛 张博为 朱颖 杨先博 苏丽
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop CUDA 21CMA 相关器
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 高性能计算
• 页码范围: 46-51
• 页数: 6页
• 分类号: TP312
• 字数: 2733字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.01.007

摘要

根据21CMA相关器的算法特点,在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上,提出了一种基于Hadoop+ CUDA平台实现软相关器的方法.本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势,设计相关器的并行模型,使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升.同时,本文选择广泛应用于大数据处理平台的Hadoop软件架构,利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行,非常便捷地获得了集群系统的线性加速比.Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠,为后续的大数据分析提供了支撑环境.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	苏丽		6	20	2.0	4.0
2	杨先博		4	6	2.0	2.0
3	张博为		2	16	2.0	2.0
4	朱颖		3	5	2.0	2.0
5	孙彦猛		1	2	1.0	1.0