一种基于MapReduce的动态数据流分类算法

• 作者: 冯林 姚远 金博 陈沣
• 来源期刊: 大连理工大学学报
• 学科: 工学
• 关键词: 数据流分类 增量式学习 极端支持向量机(ESVM) MapReduce 遗忘因子 鲁棒性
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 电子与信息工程
• 页码范围: 461-468
• 页数: 8页
• 分类号: TP312
• 字数: 6394字
• 语种: 中文
• DOI: 10.7511/dllgxb201404014

摘要

当前动态数据流下的实时分类问题存在3个难点：针对海量数据的实时处理；概念漂移的跟踪和模型的更新；模型的稳定和鲁棒性。针对上述问题,将极端支持向量机(extreme support vector machine,ESVM)与 MapReduce 框架结合,提出了带遗忘因子的鲁棒 ESVM算法。该方法通过构造残差权重矩阵,对残差进行修正,同时加入遗忘因子,提高新样本的作用,从而实现对海量数据处理问题的求解。实验结果显示,所提出方法能够快速有效地对动态数据流进行分类,且结果不易受到噪声干扰,稳定性强。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯林	大连理工大学电子信息与电气工程学部计算机科学与技术学院	122	1283	20.0	31.0
5	金博	大连理工大学创新实验学院	25	585	10.0	24.0
6	姚远	大连民族学院信息与通信工程学院	2	16	1.0	2.0
7	陈沣	大连理工大学电子信息与电气工程学部计算机科学与技术学院	1	1	1.0	1.0