分布式并行化数据流频繁模式挖掘算法

• 作者: 孙杜靖 李玲娟 马可
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 数据流 频繁模式 分布式并行化 Storm
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 75-79
• 页数: 5页
• 分类号: TP311
• 字数: 3210字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.07.16

摘要

为了提高数据流频繁模式挖掘的效率,文中基于经典的数据流频繁模式挖掘算法FP-Stream和分布式并行计算原理,设计了一种分布式并行化数据流频繁模式挖掘算法—DPFP-Stream ( Distributed Parallel Algorithm of Mining Frequent Pattern on Data Stream)。该算法将建立频繁模式树的任务分为local和global两部分,并设置了参数“当前时间”；将到达的流数据平均分配到多个不同的local节点,各local节点使用FP-Growth算法产生该单位时间内本节点的候选频繁项集,并按照单位时间将候选频繁项集及其支持度计数打包发送至global节点；global节点按“当前时间”合并各local节点的中间结果并更新模式树Pattern-Tree。在分布式数据流计算平台Storm上进行的算法实现和性能测试结果表明,DPFP-Stream算法的计算效率能够随着local节点或local bolt线程的增加而提高,适用于高效挖掘数据流中的频繁模式。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	马可	南京邮电大学计算机学院	4	36	3.0	4.0
3	孙杜靖	南京邮电大学计算机学院	4	39	3.0	4.0