基于集成学习的烟草异常数据挖掘研究与应用

• 作者: 张侃弘 李天举 汤臻 范杰 谢志峰 陶亦筠
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 异常数据挖掘 集成学习 数据预处理 数据增强 Stacking模型
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 应用开发研究
• 页码范围: 128-135
• 页数: 8页
• 分类号: TP399
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2020.11.024

摘要

为了推动上海市烟草专卖市场监管方式转型,实现市场监管水平的有效提升,通过引入异常数据挖掘方法,从而强化市场异动预测和分析.结合目前机器学习前沿理论的研究,提出了基于多模型Stacking集成学习的烟草异常数据挖掘模型,运用Stacking集成学习的方式,充分发挥各个算法模型的优势.数据集使用的是2016年1月到2019年4月的烟草专卖数据,通过数据预处理等方式将数据指标化,并使用数据增强等手段一定程度上缓解了数据不平衡的问题.使用该数据对模型进行了验证分析,其结果很好地证明了Stacking模型中单个机器学习算法的学习能力越强,关联程度越低,集成后的模型预测结果越好.最后通过实证稽查环节,充分验证了模型的有效性,经过全市实证后,市场检查对零售户的问题查实率能从现有的5％左右提升至15％以上.