基于Leading-Club不平衡数据处理方法研究

• 作者: 张丹 曹国正 王效禹 程志远
• 来源期刊: 长春工程学院学报（自然科学版）
• 学科: 工学
• 关键词: 数据分析 不平衡数据 不平衡分类 聚类算法 欠采样
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 信息技术及应用
• 页码范围: 114-118
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1009-8984.2020.03.025

摘要

不平衡数据分类是数据分析和机器学习的重要研究对象.类内的、类间的分布不均以及稀有样本均会导致模型训练结果不理想.本文以Leading-Club不平衡数据为研究对象,提出了重新划分数据的方法.一是对样本进行有效缩减,通过聚类算法有效提取未违约数据的共性,结合欠采样方法,保留有效特征;二是平衡分类信息,考虑类内的不平衡分类会导致模型难训练,为此借助特征相关性方法对不平衡分类重新进行划分.实验结果表明:通过这两种方法研究分析不平衡数据的违约与未违约占比,采用数据比为6.8:3.2时模型训练最好,对比原始训练数据,实验表明能提高25％ ～30％ 的模型预测准确度.为金融领域和货款违约数据的不平衡处理提供了思路参考.