基于Spark的大数据聚类研究及系统实现

• 作者: 奚雪峰 曾诚 王磊 邹恩岑 陆悠
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: Spark 聚类 大数据
• 年，卷（期）: 2018,（6）
• 页码范围: 1077-1085
• 页数: 9页
• 分类号: TP391
• 字数: 5139字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2018.06.016

摘要

传统聚类算法由于单机内存和运算能力的限制已经不能满足当前大数据处理的要求,因而迫切需要寻找新的解决方法.针对单机内存运算问题,结合聚类算法的迭代计算特点,提出并实现了一种基于Spark平台的聚类系统.针对稀疏集和密集集两种不同类型的数据集,系统首先采用不同策略实现数据预处理;其次分析比较了不同聚类算法在Spark平台下的聚类性能,并给出最佳方案;最后利用数据持久化技术提高了计算速度.实验结果表明,所提系统能够有效满足海量数据聚类分析的任务要求.