基于Hadoop平台的数据清洗研究

• 作者: 任薇 彭宁 范会丽
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: HADOOP平台 数据清洗 完全重复数据 相似重复数据
• 年，卷（期）: 2020,（5）
• 页码范围: 27-28
• 页数: 2页
• 分类号: TP393

摘要

各行各业数据的指数级增长,导致数据仓库建设管理,数据库中知识发现和总体数据质量管理中涉及的重复数据、数据值缺失、错误记录、没有意义的异常值等数据问题越来越棘手。这三个领域也是数据清洗的主要领域。基于当前现状,结合当前各大企业数据处理的平台,利用Hadoop平台中的相关组件对企业中的完全重复的数据和相似重复的数据进行清洗研究。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	任薇	华北理工大学信息工程学院	7	2	1.0	1.0
2	彭宁	华北理工大学信息工程学院	6	2	1.0	1.0
3	范会丽	华北理工大学信息工程学院	6	2	1.0	1.0