大数据环境下的数据清洗框架研究

• 作者: 姚俊萍 封富君 李新社 马俊春
• 来源期刊: 软件
• 学科: 工学
• 关键词: 大数据 数据质量 数据清洗 相似重复记录
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 193-196
• 页数: 4页
• 分类号: TP393
• 字数: 2618字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2017.12.037

摘要

在大数据环境下会不可避免的存在一些脏数据,严重的影响了数据质量,而数据清洗是提高数据质量的重要方法,对数据清洗框架的研究可以帮助大数据的系统决策.提出了一个大数据环境下数据清洗的一般框架,并对核心的数据清洗模块中的三个子模块进行详细的分析,包括不完整数据清洗子模块、不一致数据修复子模块和相似重复记录数据清洗子模块,且讨论了其清洗的具体流程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李新社		8	12	2.0	3.0
2	姚俊萍		11	15	2.0	3.0
3	封富君		7	13	2.0	3.0
4	马俊春		2	13	2.0	2.0