基于Hadoop MapReduce的分布式数据流聚类算法研究

• 作者: 任家东 朱世伟 蔡斌雷 郭芹
• 来源期刊: 信息工程大学学报
• 学科: 工学
• 关键词: 数据挖掘 聚类 数据流聚类 分布式聚类 Hadoop MapReduce
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 计算机技术及应用
• 页码范围: 472-478
• 页数: 7页
• 分类号: TP391
• 字数: 4622字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-0673.2014.04.015

摘要

随着数据流规模的持续增大,现有基于网格的聚类算法对数据流的聚类效果不好,不能实时发现任意形状的簇,也不能及时删除数据流中的噪声点.文章提出了一种Hadoop平台环境下基于网格密度的分布式数据流聚类算法(PGDC-Stream),利于基于Hadoop的MapReduce框架对数据流进行阶段化的并行聚类分析,实时发现数据流中任意形状的簇,定义检测周期和密度阈值函数并及时删除数据流中的噪声点.算法基于网格密度对数据流初始聚类后,随着新数据的到来,使用基于密度阈值函数的噪声点处理策略,周期性检测和删除噪声点,使用基于Hadoop MapReduce框架的并行分析模型周期性地调整已经生成的簇.实验结果表明,PG-DC-Stream对大规模数据流的聚类质量、可伸缩性和实时性都好于CluStream.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	任家东	燕山大学信息科学与工程学院	49	218	9.0	11.0
2	朱世伟	山东省科学院情报研究所	26	148	7.0	11.0
3	郭芹	济南大学泉城学院	9	20	2.0	4.0
4	蔡斌雷	山东省科学院情报研究所	4	10	1.0	3.0