基于Hadoop二阶段并行模糊c-Means聚类算法

• 作者: 胡吉朝 黄红艳
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 二阶段 模糊c-Means 大数据 聚类 并行 入侵检测
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 算法
• 页码范围: 282-286
• 页数: 5页
• 分类号: TP312
• 字数: 4222字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.06.067

摘要

针对Mapreduce机制下算法通信时间占用比过高，实际应用价值受限的情况，提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先，改进Mapreduce机制下的MPI通信管理方法，采用成员管理协议方式实现成员管理与Mapreduce降低操作的同步化；其次，实行典型个体组降低操作代替全局个体降低操作，并定义二阶段缓冲算法；最后，通过第一阶段的缓冲进一步降低第二阶段Mapreduce操作的数据量，尽可能降低大数据带来的对算法负面影响。在此基础上，利用人造大数据测试集和KDD CUP 99入侵测试集进行仿真，实验结果表明，该算法既能保证聚类精度要求又可有效加快算法运行效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡吉朝	石家庄经济学院信息工程学院	9	40	3.0	6.0
2	黄红艳	石家庄经济学院信息工程学院	11	33	4.0	4.0