VFDT算法基于Storm平台的实现方案

• 作者: 张发扬 李玲娟 陈煜
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 流数据 快速决策树算法 分布式 并行化 Storm
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 192-196
• 页数: 5页
• 分类号: TP311
• 字数: 4006字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.09.043

摘要

以提升流数据的分类效率为目标，研究如何在流数据处理平台 Storm上实现快速决策树算法-VFDT。设计了VFDT基于Storm的分布式并行化实现方案，将VFDT算法分为建树、分类和评价共三个模块，建树模块负责决策树的初始化和增量建树，分类模块负责对待分类样本进行分类标记，评价模块负责用已标记的样本对VFDT决策树进行评价。通过正确设计Storm拓扑中的Spout/Bolt实现各模块的功能，通过为分类Bolt设定多个Task来实现分类模块的并行化；用内存数据库Redis实现三个模块的有效衔接和决策树的保存；用消息中间件Kafka来提高算法对流数据突增的容忍度。基于该方案的VFDT算法实现与测试结果表明：在Storm集群环境下的VFDT算法分类效率相对于单机环境有显著提高，而且合理设定分类Bolt的Task数可使分类效率进一步提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	陈煜	南京邮电大学计算机学院	4	33	3.0	4.0
3	张发扬	南京邮电大学计算机学院	1	11	1.0	1.0