基于Spark与改进K-modes的增量聚类研究

• 作者: 孙繁荣 郑忠斌
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: Spark计算平台 K-modes算法 相异度度量 信息熵
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 基金项目
• 页码范围: 50-55
• 页数: 6页
• 分类号: TP391
• 字数: 5159字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2020.06.012

摘要

为改善传统K-modes在无序分类数据聚类中忽略多属性和属性间差异的问题,以及解决算法在高维和动态增量数据聚类的应用,提出基于Spark与改进K-modes增量聚类方法.提出多属性值modes的新相异度度量方法,在保留多属性的同时,引入基于信息熵的属性权重计算方法,以综合考虑不同维度下属性差异;提出基于多原则的迭代方法对聚类中心K进行优选,提高聚类准确率;基于Spark平台,引入增量聚类思想运行改进算法;最后搭建Spark实验环境对提出方法进行验证,结果表明改进K-modes聚类的准确率明显优于传统K-modes算法,且并行化算法在对增量数据执行效率和准确率上也具有明显优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑忠斌		12	1	1.0	1.0
2	孙繁荣		2	0	0.0	0.0