基于Hadoop架构的数据驱动的SVM并行增量学习算法

• 作者: 宫秀军 邳文君
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Hadoop HBase 支持向量机 增量学习 集成学习 遗忘因子 控制器组件
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 先进计算
• 页码范围: 3044-3049
• 页数: 6页
• 分类号: TP311
• 字数: 6983字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.11.3044

摘要

针对传统支持向量机(SVM)算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法(PIASVM).利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力.多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力.