基于 Spark 的 LIBSVM 参数优选并行化算法

• 作者: 刘鹏 吕雅洁 张国鹏 李坤 黄宜华
• 来源期刊: 南京大学学报（自然科学版）
• 学科: 工学
• 关键词: LIBSVM 参数优选 网格搜索 并行化 Spark
• 年，卷（期）: 2016,（2）
• 页码范围: 343-352
• 页数: 10页
• 分类号: TP301
• 字数: 6325字
• 语种: 中文
• DOI: 10.13232/j.cnki.jnju.2016.02.016

摘要

利用 Spark 集群设计 LIBSVM 参数优选的并行化实现.LIBSVM 是一款广泛使用的 SVM 软件包，广泛应用于模型搭建、样本训练和结果预测等方面.在用 LIBSVM 训练数据集时，参数的选择对训练结果影响显著，其中以参数 C 和 g 最为重要.LIBSVM 软件包中采用网格搜索算法对 C、g 参数组合进行寻优，尽管该算法在单机上实现了并行化，但当数据量达到一定程度时，仍需要花费大量的时间.基于 Spark 并行计算架构，进行了 LIBSVM 的C、g 参数网格优选并行算法的设计与实现.实验结果表明，提出的并行粗粒度网格搜索 C、g 参数优选算法比传统算法速度提升了近7倍，而且这一提升将随着集群规模的扩大而进一步加大.另一方面，在粗粒度网格搜索的基础上，进而提出的细粒度并行网格搜索算法又进一步提升了 C、g 参数组合的优选结果.