基于Spark的模糊聚类算法实现及其应用

• 作者: 吴云龙 李玲娟
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 聚类分析 模糊C均值 Spark 入侵检测
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 安全与防范
• 页码范围: 130-134
• 页数: 5页
• 分类号: TP39
• 字数: 4040字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.01.027

摘要

作为软聚类的代表性算法,模糊聚类算法FCM能客观地处理带有模糊性的聚类问题.为了适应对大数据进行实时和准确地聚类的需求,提高FCM算法对大数据的聚类效率,设计了FCM基于大数据计算平台Spark的并行化实现方法.该方案用HDFS对底层数据进行分布式存储,用RDD机制进行计算过程中的数据转换,用持久化技术实现中间结果的重用.为了检验所设计的并行化FCM算法的有效性,将其应用于入侵检测系统中,首先对KDD CUP 99数据集进行预处理,然后分别在单机和Spark集群上,针对预处理前后的KDD CUP 99数据集,用该算法实施聚类来检测入侵,并比较检测的准确性和时效性.应用结果表明,基于Spark的并行化FCM算法有良好的聚类鲁棒性、收敛速度和准确率,尤其在处理大规模样本数据时,优势更加明显.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	吴云龙	南京邮电大学计算机学院	1	2	1.0	1.0