高度可伸缩的稀疏矩阵乘法

• 作者: 吴志川 毛琛 陈立军 韩蕾
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 稀疏矩阵乘法 分布式计算 Hadoop
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 学术研究
• 页码范围: 973-982
• 页数: 10页
• 分类号: TP319
• 字数: 7309字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1305053

摘要

矩阵乘法是线性代数和图算法中非常重要的一个基本操作，而大规模数据处理中的矩阵往往是稀疏矩阵。MapReduce编程框架能够有效地支持海量数据的分布式计算。因此，对如何运用MapReduce编程框架实现超大规模稀疏矩阵的乘法进行了研究。传统矩阵乘法并行算法没有针对稀疏矩阵进行专门优化，导致计算过程中出现大量不必要的通信开销。提出了一种新的算法--CRM（column row multiplication）算法，并与传统的矩阵分块算法进行了比较。实验证明，CRM算法运行效率有很大的提高，并且具有高度的可伸缩性，适合在MapReduce平台上运行。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈立军	北京大学信息科学技术学院计算机系	14	100	6.0	9.0
2	韩蕾	北京大学信息科学技术学院计算机系	14	237	8.0	14.0
3	毛琛	北京大学信息科学技术学院计算机系	2	11	1.0	2.0
4	吴志川	北京大学信息科学技术学院计算机系	2	31	2.0	2.0