基于Storm的流数据KNN分类算法的研究与实现

• 作者: 冯百明 周志阳 杨朋霖 温向慧
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Storm KNN算法 流数据 大数据 数据划分
• 年，卷（期）: 2017,（19）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 71-75,97
• 页数: 6页
• 分类号: TP301
• 字数: 4592字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1611-0016

摘要

KNN算法是一种简单、有效且易于实现的分类算法,可用于类域较大的分类.近年来对KNN算法的研究偏向于静态大数据集,不过,在越来越多的情况下要用KNN算法在线实时处理流数据.考虑到流式数据流量大,连续且快速,不易存储和恢复等特性,以及流处理系统Storm对流数据处理具有实时性、可靠性的特点,提出了基于Storm的流数据KNN分类算法,该算法首先对整个样本集进行划分,形成多个片集,然后计算出待分类向量在各片集上的K近邻,最后再将所有片集K近邻归约得出整体K近邻,实现待分类向量的分类.实验结果表明,基于Storm的流数据KNN分类算法能够满足大数据背景下对流数据分类的高吞吐量、可扩展性、实时性和准确性的要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯百明	西北师范大学计算机科学与工程学院	41	177	8.0	10.0
2	周志阳	西北师范大学计算机科学与工程学院	4	19	2.0	4.0
3	杨朋霖	西北师范大学计算机科学与工程学院	3	12	2.0	3.0
4	温向慧	西北师范大学计算机科学与工程学院	4	17	2.0	4.0