基于Spark的密度聚类算法并行化研究

• 作者: 朱子龙 李玲娟
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: DBSCAN 聚类 Spark 并行化
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 80-84
• 页数: 5页
• 分类号: TP301.6
• 字数: 4154字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.06.018

摘要

聚类分析目前是数据挖掘研究领域中热门的研究课题,DBSCAN算法则是聚类分析中较为重要的一种基于密度的算法.Apache Spark扩展了广泛使用的MapReduce计算模型,提出了基于内存的并行计算框架.通过将中间结果缓存在内存中减少I/O磁盘操作,使其能够更高效地支持交互式查询、迭代式计算等多种计算模式.为了更好地进行大数据聚类挖掘,研究如何对基于当今主流的大数据处理框架Spark对DBSCAN算法进行并行化.设计了基于Spark的DBSCAN算法并行化方案,通过合理利用RDD和设计Sample算子、map函数、collectAsMap算子、reduceByKey算子,实现了对寻找核心对象的密度可达数据点过程的并行化.在Spark平台上运用DBSCAN算法对UCI的Wine数据集、Car Evaluation数据集和Adult数据集的并行化聚类结果表明,并行化的DBSCAN算法具有较好的准确性和时效性,适用于大数据聚类.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	朱子龙	南京邮电大学计算机学院	1	6	1.0	1.0