基于Hadoop的大数据清洗框架设计与应用

• 作者: 张磊 王宝会 王洪军 靳丹
• 来源期刊: 网络新媒体技术
• 关键词: 数据清洗 hadoop mapreduce 大数据
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 网络通讯与计算技术
• 页码范围: 33-38
• 页数: 6页
• 字数: 3077字
• 语种: 中文

摘要

构建和运行数据仓库的关键步骤是ETL,而ETL中的最关键步骤就是数据的清洗和转换.在当今数据爆炸式增长的背景下,数据清洗与转换的挑战主要来自于源数据的复杂性和数据量的庞大,针对数据庞大的问题,目前Hadoop体系的Mapreduce框架已经成为海量数据处理领域的事实标准.本文主要分析在大数据环境下数据清洗工作中数据来源的复杂性问题,并针对这些问题提出了基于Hadoop的简单的可扩展的数据清洗框架,可以让本框架的使用者只需要用少量代码完成基于Mapreduce的海量复杂数据的清洗工作,Mapreduce的复杂性对开发者透明.并以某互联网公司使用此框架收集的用户行为日志数据作为示例,在示例中,此框架相比之前的解决方案极大地提高了海量数据清洗的准确性和效率.另外,本框架还可以应用于海量的非结构化数据的清洗.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张磊	北京航空航天大学软件学院	78	721	15.0	25.0
2	靳丹		13	37	4.0	5.0
3	王宝会	北京航空航天大学软件学院	6	28	4.0	5.0
4	王洪军		1	0	0.0	0.0