基于Spark的CVFDT分类算法并行化研究

• 作者: 庄荣 李玲娟
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 数据流 CVFDT 并行化 Spark 弹性分布式数据集
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 35-38
• 页数: 4页
• 分类号: TP301.6
• 字数: 3047字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.06.008

摘要

以提升流数据的分类挖掘效率为目标,研究将概念适应快速决策树算法(CVFDT)部署到流数据计算平台Spark上进行并行化的方案.设计了CVFDT基于Spark的并行化实现方案,首先对CVFDT算法进行属性间并行化改造,即分割点计算过程中的并行化;然后基于Spark在CVFDT的建树过程中将节点的所有属性列表转化为Spark特有的弹性分布式数据集RDD,通过计算由每个RDD生成的并行化任务,汇总并且比较每个最佳分割点,再计算Hoeffding边界作为节点分裂条件找到最佳分割点,从而递归创建决策树.实验结果表明,在Spark集群环境下,CVFDT算法的分类效率相对于单机环境有显著提高,改进后的并行化CVFDT算法对大规模流数据处理有良好的适应能力,而且合理设定RDD过滤可使分类效率进一步提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玲娟	南京邮电大学计算机学院	88	927	14.0	26.0
2	庄荣	南京邮电大学计算机学院	1	2	1.0	1.0