基于语义的文本数据流概念漂移检测算法

• 作者: 储光 张玉红 胡学钢
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 概念漂移 语义 漂移检测 潜在狄利克雷分布模型 文本数据流分类
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 24-30
• 页数: 7页
• 分类号: TP181
• 字数: 6873字
• 语种: 中文

摘要

文本数据流中概念的频繁漂移导致有效信息不足,从而使得漂移检测和数据流分类准确率下降.针对该问题,引入潜在狄利克雷分布模型并考虑文本数据流隐含的语义信息,提出一种新的概念漂移检测算法.计算相邻模块中词和主题特征空间的语义相似度,其中主题的相似度根据主题-单词概率分布进行评估,当2个特征空间相似度都较低时判断为发生概念漂移.实验结果表明,与DDM、CDRDT、DWCDS、HDDM-W-Test和REDLLA算法相比,该算法对文本数据流中概念漂移的检测性能均有所提升,尤其在概念频繁漂移时可以显著减少漏检数量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡学钢	合肥工业大学计算机与信息学院	314	3156	27.0	39.0
2	张玉红	合肥工业大学计算机与信息学院	32	260	10.0	14.0
3	储光	合肥工业大学计算机与信息学院	1	1	1.0	1.0