细粒度任务并行GPU通用矩阵乘

• 作者: 张帅 李涛 杨愚鲁 焦晓帆 王艺峰
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 通用矩阵乘 持久化kernel 任务并行 负载均衡
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 高性能计算
• 页码范围: 847-856
• 页数: 10页
• 分类号: TP393.027
• 字数: 8625字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2015.05.001

摘要

稠密线性代数运算对模式识别和生物信息等许多实际应用至关重要,而通用矩阵乘(GEMM)处于稠密线性代数运算的基础地位.在cuBLAS与MAGMA中,GEMM被实现为若干kernel函数,对大型GEMM计算能够达到很高的性能.然而,现有实现对批量的小型GEMM计算性能发挥则较为有限.而且,现有实现也不能在多个具有不同性能的GPU之间自动扩展并达到负载均衡.提出任务并行式GEMM(TPGEMM),用细粒度任务并行的方式实现批量矩阵乘和多GPU矩阵乘.一个或多个GEMM的计算能够被拆分为多个任务,动态地调度到一个或多个GPU上.TPGEMM避免了为批量矩阵乘启动多个kernel函数的开销,对批量矩阵乘能够取得显著高于cuBLAS与MAGMA的性能.在低开销细粒度任务调度的基础上,TPGEMM支持单个GEMM计算在多个GPU间的自动并行,在一台具有四个不同性能GPU的工作站上取得了接近100％的扩展效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李涛	南开大学计算机与控制工程学院	39	185	8.0	12.0
2	杨愚鲁	南开大学计算机与控制工程学院	33	217	8.0	12.0
3	张帅	南开大学计算机与控制工程学院	10	42	5.0	6.0
4	焦晓帆	南开大学计算机与控制工程学院	2	13	2.0	2.0
5	王艺峰	南开大学计算机与控制工程学院	2	13	2.0	2.0