大数据分类挖掘算法及其概念漂移应用研究

• 作者: 季一木 张永潘 谈海宇 陆莉莉
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 大数据 数据挖掘 分类算法 概念漂移
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 数据库技术
• 页码范围: 1683-1692
• 页数: 10页
• 分类号: TP393
• 字数: 6666字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1608039

摘要

随着大数据应用研究的不断深入和分布式机器学习中流计算框架的涌现,针对数据流中概念漂移问题的研究是面向大数据挖掘领域的研究热点之一.现有的针对概念漂移的研究成果主要还是依赖于数据结构和算法优化,通过计算资源有限的独立计算机完成概念漂移的检测.为此,提出一种面向大数据的基于Storm的抵抗概念漂移的分类挖掘算法S-CVFDT(Storm-concept very fast decision tree)及系统.该系统采用并行化窗口和S-CVFDT算法,利用并行化窗口机制检测数据流中的突变型概念漂移,从而自适应地改变并行窗口大小,并通过S-CVFDT算法不断更新渐进性概念漂移时的模型.分析与实验结果表明,该算法可以快速有效地检测到突变型概念漂移,降低系统因为突变型概念漂移造成的资源浪费,且模型建立效率、分类精度得到提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	季一木	南京邮电大学计算机学院	65	446	11.0	18.0
2	陆莉莉	南京信息职业技术学院计算机与软件学院	18	53	4.0	6.0
3	张永潘	南京邮电大学计算机学院	2	23	2.0	2.0
4	谈海宇	南京邮电大学计算机学院	4	13	2.0	3.0