基于最小生成树的K-均值算法设计与并行化实现

• 作者: 李俊 李玲娟
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: K-均值 最小生成树 Spark 并行化
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 81-86
• 页数: 6页
• 分类号: TP311
• 字数: 5193字
• 语种: 中文
• DOI: 10.14132/j.cnki.1673-5439.2017.05.014

摘要

随着数据处理规模的不断扩大,对算法执行效率的要求不断提高.Spark作为基于内存计算的分布式并行化框架得到了前所未有的关注和广泛应用.为了提高聚类精度和效率,研究了K-means算法的改进及其在Spark平台上的并行化.针对K-means初始聚类中心选取的随机性问题,设计了基于最小生成树的K-means算法MST-K,该算法采用最小生成树对原始结点进行初始划分,减轻初始聚类中心随机选取对聚类结果的影响;采用余弦相似度公式来避免由于各属性衡量单位的差异性而导致的“相似不相同”问题.针对MST-K算法的执行效率,设计了将之在Spark平台上分布式并行化实现的方法.在Spark上并行化运行以及与Spark MLlib中提供的K-means进行准确性对比的实验结果表明:MST-K算法在Spark平台上具有良好的时效性和聚类精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李俊	南京邮电大学计算机学院	7	40	4.0	6.0
2	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0