基于Spark的分布式数字信号处理算法库设计

• 作者: 乔昕 于碧辉 刘峰
• 来源期刊: 计算机系统应用
• 关键词: Spark 数字信号处理 分布式计算 算法库
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 214-218
• 页数: 5页
• 字数: 4499字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006508

摘要

传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘峰	中国科学院沈阳计算技术研究所	187	2005	23.0	40.0
2	乔昕		6	18	2.0	4.0
3	于碧辉		17	72	4.0	8.0