基于少量类标签的概念漂移检测算法

• 作者: 李南 郭躬德 陈黎飞
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 概念漂移 数据流 分类 KNNModel 模型簇
• 年，卷（期）: 2012,（8）
• 所属期刊栏目: 数据库技术
• 页码范围: 2176-2181,2185
• 分类号: TP311.13
• 字数: 7306字
• 语种: 中文
• DOI: 10.3724/SP.J.1087.2012.02176

摘要

传统的概念漂移数据流分类算法通常利用测试数据的真实类标来检测数据流是否发生概念漂移,并根据需要调整分类模型.然而,真实类标的标记需要耗费大量的人力、物力,而持续不断到来的高速数据流使得这种解决方案在现实中难以实现.针对上述问题,提出一种基于少量类标签的概念漂移检测算法.它根据快速KNNModel算法利用模型簇分类的特点,在未知分类数据类标的情况下,根据当前数据块不被任一模型簇覆盖的实例数目较之前数据块在一定的显著水平下是否发生显著增大,来判断是否发生概念漂移.在概念漂移发生的情况下,让领域专家针对那些少量的不被模型簇覆盖的数据进行标记,并利用这些数据自我修正模型,较好地解决了概念漂移的检测和模型自我更新问题.实验结果表明,该方法能够在自适应处理数据流概念漂移的前提下对数据流进行快速的分类,并得到和传统数据流分类算法近似或更高的分类精度.