基于MapReduce改进K-NN的大数据分类算法研究

• 作者: 王慧娇 王鑫 蒋华 韩飞
• 来源期刊: 微电子学与计算机
• 关键词: 大数据 MapReduce k-近邻算法 临界区域 主成分分析 距离加权
• 年，卷（期）: 2018,（10）
• 页码范围: 36-40,45
• 页数: 6页
• 分类号: TP391
• 语种: 中文

摘要

针对传统k-nearest neighbor algorithm(K-NN)分类算法计算量大、高维度海量数据集处理效率低的缺点,本文基于Hadoop平台依托MapReduce分布式编程模型改写Map和Reduce函数,并针对传统K-NN提出数据集主成分分析和临界区域数据预测时距离加权的方法.首先,对高维度数据进行主成分分析达到降维的目的,从而提高运行效率;其次,在预测分类阶段加入完全区域和临界区域的概念,临界区域对k个值n种类别进行距离加权,提高准确率;最后,在Hadoop集群环境下的算法运行,针对海量数据进一步提高其运行效率.实验结果表明:该算法在处理海量数据时极大地提高了计算效率和准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋华	桂林电子科技大学计算机与信息安全学院	116	552	10.0	18.0
2	王鑫	桂林电子科技大学计算机与信息安全学院	87	290	8.0	13.0
3	王慧娇	桂林电子科技大学计算机与信息安全学院	23	97	5.0	9.0
4	韩飞	桂林电子科技大学计算机与信息安全学院	3	8	2.0	2.0