分布式数据流聚类算法及其基于Storm的实现

• 作者: 万新贵 李玲娟 马可
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 数据流聚类 分布式 质心距离 密度网格 Storm
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 应用开发研究
• 页码范围: 150-155
• 页数: 6页
• 分类号: TP311
• 字数: 4758字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.07.034

摘要

为了提高数据流聚类算法的效率,设计并提出了基于质心距离和密度网格的数据流聚类算法-CDD-Stream,并通过对其中网格结构的更新实施了并行化策略,进而设计并提出了一种分布式数据流聚类算法-DCD-Stream(Distributed Centroid Distance D-Stream).该算法分为在线和离线两个部分,在线部分实时接收数据流,利用局部节点和全局节点实现了网格结构更新的并行化,完成了整体网格结构的增量更新;离线部分基于网格结构的更新结果进行全局聚类,并存储网格帧,供用户查询历史簇.充分利用Storm快速实时处理数据流并显著提高数据流挖掘算法性能的优势,设计并实现了基于Storm的DCD-Stream算法实现方案.该方案通过内存数据库Redis和消息中间件Kafka的应用对DCD-Stream算法的拓扑进行了合理部署与实现.对比验证实验结果表明,相对于其他算法,DCD-Stream算法在数据流对象上有相当高的聚类精度和更好的时效性,基于Storm的DCD-Stream算法实现方案是可行且有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	马可	南京邮电大学计算机学院	4	36	3.0	4.0
3	万新贵	南京邮电大学计算机学院	4	15	3.0	3.0