基于Spark的并行KMeans聚类模型研究

• 作者: 侯敬儒 吴晟 李英娜
• 来源期刊: 计算机与数字工程
• 学科: 数学
• 关键词: Spark KMeans MovieLens 并行聚类 repartition
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 537-540,555
• 页数: 5页
• 分类号: O141
• 字数: 3729字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2018.03.025

摘要

文章基于Spark分布式计算框架设计并实现了并行KMeans聚类模型,并通过该模型在不同规模的MovieLens数据集上进行训练比对实验,结果表明,该并行KMeans聚类模型适合运行在分布式集群环境下,且并行化计算效率也有不俗的表现;其次通过repartition算子设计分片加载数据,优化并行方案,有效减少了模型的训练时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴晟	昆明理工大学信息工程与自动化学院	87	334	10.0	15.0
2	李英娜	昆明理工大学信息工程与自动化学院	148	412	10.0	12.0
3	侯敬儒	昆明理工大学信息工程与自动化学院	3	10	2.0	3.0