基于Spark的高维K近邻连接算法

• 作者: 纪佳琪 郑永基
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: K近邻连接 高维 大数据 哈希函数 并行计算
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 软件与算法
• 页码范围: 2544-2549
• 页数: 6页
• 分类号: TP301
• 字数: 5143字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2018.08.026

摘要

为解决数据量日益增长和数据维度不断增高,通过单机运行K近邻连接算法得出结果时间过长无法满足时效要求的问题,提出一种基于Spark的使用位置敏感哈希函数对数据预处理后再进行查询的算法.利用位置敏感哈希函数对训练集数据降维并进行分桶索引,进行近邻查找,有效利用Spark基于内存的高性能并行计算能力.实验结果表明,该算法对高维大数据具有较高的准确性和查询效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	纪佳琪	河北民族师范学院信息中心	7	1	1.0	1.0
2	郑永基	圆光大学计算机工学院	1	0	0.0	0.0