Spark下的并行多标签最近邻算法

• 作者: 夏翠萍 欧阳卫华 王进 王鸿 邓欣 陈乔松
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 多标签学习 多标签最近邻算法 Spark 并行
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 高性能计算
• 页码范围: 227-235
• 页数: 9页
• 分类号: TP181
• 字数: 6676字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.02.002

摘要

随着大数据时代的到来,大规模多标签数据挖掘方法受到广泛关注.多标签最近邻算法ML-KNN是一种简单高效、应用广泛的多标签分类方法,其分类精度在很多应用中都高于其他常见的多标签学习方法.然而随着需要处理的数据规模越来越大,传统串行ML-KNN算法已经难以满足大数据应用中时间和存储空间上的限制.结合Spark的并行机制和其基于内存的迭代计算特点,提出了一种基于Spark并行框架的ML-KNN算法SML-KNN.在Map阶段分别找到待预测样本每个分区的K近邻,随后Reduce阶段根据每个分区的近邻集合确定最终的K近邻,最后并行地对近邻的标签集合进行聚合,通过最大化后验概率准则输出待预测样本的目标标签集合.串行和并行环境下的对比实验结果表明,SML-KNN在保证分类精度的前提下性能与计算资源呈近似线性关系,提高了ML-KNN算法对大规模多标签数据的处理能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王进	重庆邮电大学计算智能重庆市重点实验室	50	202	8.0	12.0
2	陈乔松	重庆邮电大学计算智能重庆市重点实验室	16	66	4.0	7.0
3	邓欣	重庆邮电大学计算智能重庆市重点实验室	21	58	4.0	6.0
4	王鸿	重庆邮电大学计算智能重庆市重点实验室	3	7	2.0	2.0
5	欧阳卫华	重庆邮电大学计算智能重庆市重点实验室	5	10	2.0	3.0
6	夏翠萍	重庆邮电大学计算智能重庆市重点实验室	2	4	2.0	2.0