面向申威众核处理器的LZMA并行算法设计与优化

• 作者: 李秉政 许瑾晨 黄高阳
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 并行计算 异构众核处理器 LZMA 压缩算法
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 学术研究
• 页码范围: 1501-1509
• 页数: 9页
• 分类号: TP311.1
• 字数: 5387字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1909070

摘要

随着高性能计算和科学计算应用的发展,高性能计算集群系统传输、存储和处理的数据规模呈现爆炸式增长.对大规模数据进行高效的压缩,减少数据存储所需空间和传输所需的通信带宽,是提升高性能计算集群系统性能的关键之一.无损压缩算法中,LZMA算法具有较高的压缩率,但串行版本的LZMA算法压缩速率很慢.采用多核架构的处理器对无损压缩算法进行并行化,是提升压缩速率的一个研究方向.设计并实现了面向申威26010异构众核处理器并行化LZMA算法.结合申威异构众核处理器的特点,对LZMA算法存储空间需求、访存特性、热点函数等进行分析,基于Athread接口实现LZMA算法从核多线程并行,并对LDM地址空间进行细粒度的布局与优化以获得更好的缓存性能,实现DMA双缓冲的循环滑动窗口算法.测试结果表明,相较主核串行版本算法,并行LZMA算法在Silesia语料库基准测试集和大规模数据集中分别获得了4.1倍和5.3倍的最大加速比,获得了较好的加速效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许瑾晨		3	3	1.0	1.0
2	李秉政		1	0	0.0	0.0
3	黄高阳		2	0	0.0	0.0