Spark框架结合分布式KNN分类器的网络大数据分类处理方法

• 作者: 徐志超 曹瑜 王楠
• 来源期刊: 计算机应用研究
• 关键词: 分类处理 Apache Spark 并行机制 数据挖掘 汉明损失 K最近邻
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3274-3277,3333
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.05.0296

摘要

针对现有大数据分类方法难以满足大数据应用中时间和储存空间的限制,提出了一种基于Apache Spark框架的大数据并行多标签K最近邻分类器设计方法.为了通过使用其他内存操作来减轻现有MapReduce方案的成本消耗,首先,结合Apache Spark框架的并行机制将训练集划分成若干分区;然后在map阶段找到待预测样本每个分区的K近邻,进一步在reduce阶段根据map阶段的结果确定最终的K近邻;最后并行地对近邻的标签集合进行聚合,通过最大化后验概率输出待预测样本的目标标签集合.在PokerHand等四个大数据分类数据集上进行实验,该方法取得了较低的汉明损失,证明了其有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王楠	吉林财经大学管信学院	73	329	11.0	15.0
5	徐志超	吉林财经大学管信学院	6	10	2.0	3.0
6	曹瑜	哈尔滨金融学院计算机系	7	6	1.0	2.0