基于Spark的大规模文本k-means并行聚类算法

• 作者: 丁恩杰 刘鹏 孟磊 滕家雨
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: k-means 并行化 文本聚类 Spark RDD Hadoop MapReduce
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 信息抽取与文本挖掘
• 页码范围: 145-153
• 页数: 9页
• 分类号: TP311
• 字数: 6693字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2017.04.021

摘要

互联网文本数据量的激增使得对其作聚类运算的处理时间显著加长,虽有研究者利用Hadoop架构进行了k-means并行化研究,但由于很难有效满足k-means需要频繁迭代的特点,因此执行效率仍然不能让人满意.该文研究提出了基于新一代并行计算系统Spark的k-means文本聚类并行化算法,利用RDD编程模型充分满足了k-means频繁迭代运算的需求.实验结果表明,针对同一聚类文本大数据集和同样的计算环境,基于Spark的k-means文本聚类并行算法在加速比 、扩展性等主要性能指标上明显优于基于Hadoop的实现,因此能更好地满足大规模文本数据挖掘算法的需求.