基于动态分布式聚类算法的大数据查询处理方法

• 作者: 唐运乐 韦杏琼
• 来源期刊: 西南师范大学学报（自然科学版）
• 关键词: 大数据 动态分布式聚类 查询处理 Apache Spark
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 工程与信息技术
• 页码范围: 134-139
• 页数: 6页
• 分类号: TP393
• 语种: 中文
• DOI: 10.13718/j.cnki.xsxb.2021.05.020

摘要

针对现有大数据空间查询处理方法存在执行时间长和查询结果不够准确的问题,提出一种基于动态分布式聚类算法的大数据查询处理方法,该方法分为数据预处理、数据聚类和查询处理3个部分.首先将输入数据划分为多个子集,以RRD格式存储在一组机器节点中;其次采用划分和层次混合动态聚类算法,在Apache Spark平台上对数据进行分布式聚类;最后通过K近邻查询方式获得高精度和高效率查询结果.实验结果表明,本文提出的方法具有可扩展性,可为空间查询处理提供高质量的结果,比其他查询方法更具优势.