大数据云清洗系统的设计与实现

• 作者: 朱振华 王海洁 黄沈滨
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 大数据 数据质量 云清洗 Map-Reduce
• 年，卷（期）: 2015,（3）
• 页码范围: 88-90
• 页数: 3页
• 分类号: TP391
• 字数: 3411字
• 语种: 中文

摘要

数据清洗是大数据中一个重要的主题.本文基于Hadoop设计并实现了一个大数据的云清洗系统.通过Map-Reduce计算模型,该系统能够检测并修复数据质量方面的各类问题.该系统包含以下特征:(1)支持数据质量方面各类问题的清洗工作;(2)数据云清洗进度可视化以及参数设置;(3)友好的数据集输入接口以及清洗后的数据集输出接口.该大数据云清洗系统对文本数据和数据库数据均是一个有效且高效的数据清洗系统.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王海洁	哈尔滨工业大学网络与信息中心	8	25	3.0	5.0
2	黄沈滨	哈尔滨工业大学网络与信息中心	4	37	3.0	4.0
3	朱振华	哈尔滨工业大学计算机科学与技术学院	3	8	2.0	2.0