基于Spark的压缩近邻算法

• 作者: 张素芳 王婷婷 王聪 翟俊海 赵春玲 郝璞
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 压缩近邻 大数据 样例选择 迭代计算 懒惰学习
• 年，卷（期）: 2018,（z1）
• 所属期刊栏目: 大数据与数据挖掘
• 页码范围: 406-410
• 页数: 5页
• 分类号: TP181
• 字数: 3439字
• 语种: 中文

摘要

K-近邻(K-Nearest Neighbors,K-NN)是一种懒惰学习算法,用 K-NN 对数据分类时,不需要训练分类模型. K-NN算法的优点是思想简单、易于实现;缺点是计算量大,原因是在对测试样例进行分类时,其需要计算测试样例与训练集中每一个训练样例之间的距离.压缩近邻算法(Condensed Nearest Neighbors,CNN)可以克服 K-NN 算法的不足.但是,在面对大数据集时,由于自身的迭代计算特性,CNN 的运算效率会变得非常低.针对这一问题,提出一种名为 Spark CNN的压缩近邻算法.在大数据环境下,与基于 MapReduce 的 CNN 算法相比,Spark CNN 的效率大幅提高,在 5 个大数据集上的实验证明了这一结论.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵春玲	河北大学数学与信息科学学院	13	25	3.0	4.0
2	翟俊海	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	45	256	9.0	12.0
3	王聪	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	18	48	4.0	6.0
4	张素芳		12	75	4.0	8.0
5	王婷婷	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	19	31	4.0	4.0
6	郝璞	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	5	33	2.0	5.0