大数据下的分布式精确模糊KNN分类算法

• 作者: 李芳 邹劲松
• 来源期刊: 计算机应用研究
• 关键词: 大数据 分布式Spark框架 类隶属度 模糊KNN算法
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3701-3704
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.04.0373

摘要

针对K近邻(KNN)方法处理大数据集的效率问题进行了研究,提出了一种基于Spark框架的分布式精确模糊KNN分类算法,创新性地将Spark框架分布式map和reduce过程与模糊KNN结合.首先对不同分区中训练样本类别信息进行模糊化处理,得到类别隶属度,将训练集转换为添加类隶属度的模糊训练集;然后使用KNN算法对先前计算的类成员测试集计算得到k个最近邻;最后通过距离权重进行分类.针对百万级大数据集样本的实验,以及与其他算法的对比实验表明,所提算法是可行的和有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邹劲松	重庆水利电力职业技术学院普天大数据产业学院	37	71	5.0	7.0
2	李芳	重庆大学计算机学院	24	71	5.0	7.0