Spark环境下不完整数据集成填充方法

• 作者: 彭敦陆 邹萌萍
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: Spark XGBoost 不完整数据填充 混合型变量
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 人工智能与算法研究
• 页码范围: 111-116
• 页数: 6页
• 分类号: TP391
• 语种: 中文

摘要

目前已有的不完整数据填充方法大多局限于单一类型的缺失变量,对大规模数据的填充效果相对弱势.为了解决真实大数据中混合类型变量的缺失问题,本文提出了一个新的模型——SXGBI(Spark-based eXtreme Gradient Boosting Imputation),其适应于连续型和分类型两种缺失变量并存的不完整数据填充,同时具备快速处理大数据的泛化能力.该方法通过对集成学习方法XGBoost的改进,将多种补全算法结合在一起,构建了一个集成学习器,并结合Spark分布式计算框架进行了并行化设计,能较好地运行于Spark分布式集群上.实验表明,随着缺失率的增长,SXGBI在RMSE、PFC和F1几项评价指标上都取得了比实验中其它填充方法更好的填充结果.此外,它还可以有效地运用在大规模的数据集上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭敦陆		64	210	8.0	11.0
2	邹萌萍		3	19	1.0	3.0