基于弹性分布数据集的海量空间数据密度聚类?

• 作者: 廖律超 李璐明 蒋新华
• 来源期刊: 湖南大学学报（自然科学版）
• 关键词: 空间数据 聚类算法 弹性分布式数据集 Spark
• 年，卷（期）: 2015,（8）
• 所属期刊栏目: 【电气与信息工程】
• 页码范围: 116-124
• 页数: 9页
• 分类号: TP301.6
• 语种: 中文

摘要

为了快速挖掘大规模空间数据的聚集特性，在 cluster_dp 密度聚类算法基础上，提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先，设计一种能平衡工作负载弹性分布数据集分区方法，根据数据在空间的分布情况，自动划分网格并分配数据，使得网格内数据量相对均衡，达到平衡运算节点负载的目的；接着，提出一种适用于并行计算的局部密度定义，并改进聚类中心的计算方式，解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷；最后，通过网格内及网格间聚簇合并等优化策略，实现了大规模空间数据的快速聚类处理.实验结果表明，借助 Spark 数据处理平台编程实现算法，本方法可以有效实现大规模空间数据的快速聚类，与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋新华	中南大学信息科学与工程学院	78	573	11.0	20.0
5	廖律超	中南大学信息科学与工程学院	17	126	6.0	10.0
9	李璐明	中南大学信息科学与工程学院	2	19	2.0	2.0