基于BLACS的2.5D并行矩阵乘法

• 作者: 廖霞 李胜国 卢宇彤 杨灿群
• 来源期刊: 计算机学报
• 关键词: 2.5D并行矩阵乘算法 ScaLAPACK PUMMA矩阵乘算法 SUMMA算法 分布式并行
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 边缘计算
• 页码范围: 1037-1050
• 页数: 14页
• 分类号: TP301
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2020.01037

摘要

并行矩阵乘法是线性代数中最重要的基本运算之一,同时也是许多科学应用的基石.随着高性能计算(HPC)向E级计算发展,并行矩阵乘法的通信开销所占比重越来越大.如何降低并行矩阵乘法的通信开销,提高并行矩阵乘的可扩展性是当前研究的热点之一.本文提出一种新型的分布式并行稠密矩阵乘算法,即2.5D版本的PUMMA(Parallel Universal Matrix Multiplication Algorithm)算法,该算法是通过将初始的进程分成c 组,利用计算节点的额外内存,在每个进程组上同时存储矩阵A、B和执行1/c的PUMMA算法,最后通过规约操作来得到矩阵乘的最终结果.本文基于BLACS(Basic Linear Algebra Communication Subprograms)通信库实现了一种从2D到2.5D的新型数据重分配算法,与PUMMA算法相结合,最终得到2.5D PUMMA算法,可直接替换PDGEMM(Parallel Double-precision General Matrix-matrix Multiplication),具有良好的可移植性.与国际标准算法库 ScaLA-PACK(Scalable Linear Algebra PACKage)中的PDGEMM等经典2D算法相比,本文算法缩减了通信次数,提高了数据局部性,具有更好的可扩展性.在进程数较多时,例如4096进程时,系统测试表明相对PDGEMM的加速比可达到2.20～2.93.进一步地,本文将2.5D PUMMA算法应用于加速计算对称三对角矩阵的特征值分解,其加速比可达到1.2以上.本文通过大量数值算例分析了 2.5D PUMMA算法的性能,并给出了实用性建议和总结了未来的工作.