分布式实时流数据聚类算法及其基于Storm的实现

• 作者: 李玲娟 马可
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据流 聚类 分布式 并行化 Storm
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 104-110
• 页数: 7页
• 分类号: TP391
• 字数: 4841字
• 语种: 中文
• DOI: 10.14132/j.cnki.1673-5439.2016.02.015

摘要

为了提高流数据聚类效率,文中基于经典流聚类算法CluStream的思想和Storm的计算架构,设计了一种分布式实时流聚类算法(distributed real time clustering algorithm for stream data,DRCluStream).该算法运用滑动时间窗口机制实现多粒度的数据存储;将流数据的在线微聚类部分拆分成局部和全局两个部分做分布式计算,第一部分由多个线程并行进行微簇的局部增量更新,第二部分合并微簇的局部增量结果来更新全局微簇.还设计了DRCluStream算法基于Storm的实现方案,通过使用消息中间件Kafka和合理部署Storm的拓扑对DRCluStream算法进行实现.性能分析及实验结果表明:DRCluStream算法的聚类精度与K-Means相近,且随着local节点(local bolt线程)的增加聚类精度保持稳定,而计算效率呈近线性提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	马可	南京邮电大学计算机学院	4	36	3.0	4.0