一种基于密度的分布式聚类方法

• 作者: 刘露 彭涛 王岩 韩佳育
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 聚类 分布式计算 MapReduce 独立计算单元 独立计算块
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 复杂环境下的机器学习研究专刊
• 页码范围: 2836-2850
• 页数: 15页
• 分类号: TP181
• 字数: 9097字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005343

摘要

聚类是数据挖掘领域中的一种重要的数据分析方法.它根据数据间的相似度,将无标注数据划分为若干聚簇.CSDP是一种基于密度的聚类算法,当数据量较大或数据维数较高时,聚类的效率相对较低.为了提高聚类算法的效率,提出了一种基于密度的分布式聚类方法MRCSDP,利用MapReduce框架对实验数据进行聚类.该方法定义了独立计算单元和独立计算块的概念.首先,将数据拆分为若干数据块,构建独立计算单元和独立计算块,在集群中分配独立计算块的任务;然后进行分布式计算,得到数据块的局部密度,将局部密度合并得到全局密度,根据全局密度计算中心值,由全局密度和中心值得到每个数据块中候选聚簇中心;最后,从候选聚簇中心选举出最终的聚簇中心.MRCSDP在充分降低时间复杂度的基础上得到较好的聚类效果.实验结果表明,分布式环境下的聚类方法MRCSDP相对于CSDP更能快速、有效地处理大规模数据,并使各节点负载均衡.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王岩	吉林大学计算机科学与技术学院	133	735	15.0	21.0
2	韩佳育	吉林大学计算机科学与技术学院	2	24	2.0	2.0
3	刘露	吉林大学计算机科学与技术学院	6	49	5.0	6.0