分布式数据清洗系统设计

• 作者: 李光明 李垚周
• 来源期刊: 网络安全技术与应用
• 关键词: 集群 分布式 数据清洗系统 数据倾斜 分区聚合算法
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 数据安全与云计算
• 页码范围: 60-62
• 页数: 3页
• 字数: 1953字
• 语种: 中文

摘要

针对传统系统在清洗数据时出现速度缓慢,数据分布不均时造成数据倾斜等问题.本文试图设计分布式数据清洗系统,首先使用Hadoop集群进行系统搭建,然后对系统进行流程设计、架构设计以及功能设计,最后采用改进后的分区聚合算法对Reduce操作进行优化,避免发生数据倾斜.实验结果表明,分布式数据清洗系统相比传统系统而言,清洗速率更快,系统稳定性更高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李光明	陕西科技大学电子信息与人工智能学院	62	260	10.0	13.0
2	李垚周	陕西科技大学电子信息与人工智能学院	1	0	0.0	0.0