基于MapReduce的分布式网络数据聚类算法

• 作者: 刘健 徐晓伟 王冬琦 陈东明
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 聚类算法 分布式聚类 MapReduce编程模型 数据挖掘 社团结构
• 年，卷（期）: 2013,（7）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 76-82
• 页数: 7页
• 分类号: TP301.6
• 字数: 5912字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2013.07.017

摘要

时空复杂度较高以及物理机器内存不足，会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题，在MapReduce分布式模型的基础上，提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数，控制混洗过程所需时间，利用Map内合并技术对网络流量进行控制，在进行中间结果合并时仅对社团合并，而不考虑社团内部节点，以控制内存开销。使用模拟生成的数据在集群中进行实验，结果表明，当数据规模和集群规模增大时，该算法具有较好的加速比和扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈东明	东北大学软件学院	28	171	7.0	12.0
2	刘健	东北大学软件学院	16	119	5.0	10.0
3	王冬琦	东北大学软件学院	7	27	2.0	5.0