基于双决策树的数据采样方法

• 作者: 丁海伦 成琳 翟纪宇 费洪晓 陈力
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 决策树 数据采样 机器学习
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 130-135
• 页数: 6页
• 分类号: TP311.5
• 字数: 4550字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.01.017

摘要

在数据挖掘问题中,一个基本假设是训练集样本与测试集样本的数据分布一致,但随着数据量逐渐增加,如何在海量数据中找出具有代表意义的数据也变得尤为困难.对现有的数据选择方法研究发现,传统的简单随机抽样和渐进抽样等数据选择方法,由于没有和数据挖掘工具进行结合,采样结果具有偶然性和不确定性,抽样数据很难保证数据挖掘的基本假设,这也使得最终模型的泛化误差较大.为了解决数据采样过程中类间的不平衡问题,提出一种基于双决策树的结构化数据采样方法.首先通过C4.5算法生成一棵决策树,借助决策树在数据源中选择适合的数据和数据采集点,同时通过使用另一棵决策树对选择出的数据集的质量进行评估来达到高效率和高质量的数据采样.实验表明,与简单随机抽样相比,新采样数据下训练的模型准确率有明显提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	费洪晓	中南大学软件学院	105	1153	15.0	30.0
2	陈力	中南大学地球科学与信息物理学院	4	20	2.0	4.0
3	丁海伦	中南大学软件学院	1	2	1.0	1.0
4	成琳	中南大学软件学院	1	2	1.0	1.0
5	翟纪宇	中南大学软件学院	1	2	1.0	1.0