基于Spark框架的高效KNN中文文本分类算法

• 作者: 于苹苹 倪建成 姚彬修 曹博 李淋淋
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: K-最近邻 聚类 收缩因子 K-medoids Spark 并行化计算
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 先进计算
• 页码范围: 3292-3297
• 页数: 6页
• 分类号: TP391.1
• 字数: 6918字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.12.3292

摘要

针对K-最近邻(KNN)分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题,提出了一种基于Spark框架与聚类优化的高效KNN分类算法.该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪;然后在分类过程中迭代K值获得分类结果,并在计算过程中结合Spark计算框架对数据进行分区迭代实现并行化.实验结果表明,在不同数据集中传统K-最近邻算法、基于K-medoids的K-最近邻算法所耗费时间是所提Spark框架下的K-最近邻算法的3.92 ～31.90倍,所提算法具有较高的计算效率,相较于Hadoop平台有较好的加速比,可有效地对大数据进行分类处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	倪建成	曲阜师范大学软件学院	31	137	7.0	10.0
2	姚彬修	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
3	于苹苹	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
4	曹博	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
5	李淋淋	曲阜师范大学信息科学与工程学院	6	81	5.0	6.0