基于Spark的并行SVM算法研究

• 作者: 刘泽燊 潘志松
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 并行计算 支持向量机 大规模数据 层叠模型 Spark
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 人工智能
• 页码范围: 238-242
• 页数: 5页
• 分类号: TP18
• 字数: 5474字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2016.5.044

摘要

随着数据规模的不断增加,支持向量机(SVM)的并行化设计成为数据挖掘领域的一个研究热点.针对SVM算法训练大规模数据时存在寻优速度慢、内存占用大等问题,提出了一种基于Spark平台的并行支持向量机算法(SP-SVM).该方法通过调整层叠支持向量机(Cascade SVM)的合并策略和训练结构,并利用Spark分布式计算框架实现;其次,进一步分析并行操作算子的性能,优化算法并行化实现方案,有效克服了层叠模型训练效率低的缺点.实验结果表明,新的并行训练方法在损失较小精度的前提下,在一定程度上减少了训练时间,能够很好地提高模型的学习效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	潘志松	解放军理工大学指挥信息系统学院	47	385	9.0	17.0
2	刘泽燊	解放军理工大学指挥信息系统学院	2	34	2.0	2.0