基于Spark的层次聚类算法的并行化研究

• 作者: 余胜辉 李玲娟
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Spark 层次聚类 CURE RDD 并行化
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 19-22
• 页数: 4页
• 分类号: TP301.6
• 字数: 3527字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2020.06.004

摘要

随着大数据时代的来临,传统的计算模式已经不足以支撑如此大量的数据.基于内存计算的大数据并行化计算框架Spark的出现很好地解决了这一问题. CURE是一种基于取样和代表点的层次聚类算法,它采用迭代的方式,自底向上地合并两个距离最近的簇.与传统的聚类算法相比,CURE算法对异常点的敏感度更小.但是在处理大量数据的情况下,CURE算法存在着因反复迭代而消耗大量时间的问题.文中利用了Spark的RDD编程模型的可伸缩性和分布式等特点,实现了对CURE算法计算过程的并行化,提升了该算法对数据的处理速度,使算法能够适应数据规模的扩展,并且提高了聚类的性能.在Spark上运用CURE算法对公开数据集的并行化处理结果表明,基于Spark的CURE算法并行化既保证了聚类准确率又提高了算法的时效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	余胜辉	南京邮电大学计算机学院	1	0	0.0	0.0