基于Spark的聚类算法优化与实现

• 作者: 刘魁 舒红平 赵玉明 魏培阳
• 来源期刊: 现代电子技术
• 关键词: 聚类算法优化 Spark 数据分布分析 数据聚类 聚类分析 数据处理
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 计算机科学与应用
• 页码范围: 52-55,59
• 页数: 5页
• 分类号: TN911-34|TP301.6
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.08.014

摘要

在数据挖掘中,针对聚类过程中数据存在的稀疏性问题,如果仍用传统的欧氏距离作为聚类指标,聚类的质量和效率将会受到一定的影响.受到信息论中KL散度的启发,文中提出一种基于Spark开源数据框架下利用KL散度的相似性度量方法,对目前使用的聚类算法进行优化.首先,通过预聚类,对数据的整体分布进行分析;然后,借助KL散度作为聚类的距离指标,充分利用数据集中元素提供的信息来度量不同数据集的相互关系,指导数据的聚类,在一定程度上改善了数据分布稀疏性的问题.整个过程基于Spark分布式数据处理框架,充分利用集群的能力对数据进行处理,提升数据处理的准确度和算法的时间效率;同时利用KL散度作为数据聚类距离指标,以充分考虑数据内部蕴藏的信息,使得聚类的质量得到了提升.最后通过一个实验来验证所提算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	舒红平	成都信息工程大学软件工程学院	65	461	11.0	18.0
5	刘魁	成都信息工程大学软件工程学院	9	20	3.0	4.0
6	赵玉明	成都信息工程大学软件工程学院	3	0	0.0	0.0
10	魏培阳	成都信息工程大学软件工程学院	4	0	0.0	0.0