基于模型驱动的数据清洗组件研究

• 作者: 杨政
• 来源期刊: 云南电力技术
• 学科: 工学
• 关键词: 数据清洗 模型驱动 数据统计分析
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 技术交流
• 页码范围: 72-76
• 页数: 5页
• 分类号: TM74
• 字数: 2974字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-7345.2017.06.019

摘要

数据清洗能够提高数据质量,保证数据的可用性、可靠性、一致性、完整性、有效性和唯一性,有效满足不同业务场景的数据分析和清洗需求.本文通过对数据清洗的功能架构、技术架构、数据备份、数据清洗、数据存储模型和清洗模型驱动的研究,建立面向多类型数据库的自定义数据抽取机制,自由灵活的建立数据分析清洗对象集,基于建立的数据集,进行纵向计算与分析,数据列与列之间的横向逻辑和数学计算,掌握数据集的特征.通过对数据相似度比较、数据异常识别、数据越限判断和数据缺失统计等算法的融合,结合基于模型驱动的数据清洗流程,可根据统计分析的结果,快捷配置数据清洗流程,并生成数据清洗模型,实现以模型为基础,流程为驱动的数据自动清洗过程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨政	云南电网有限责任公司电力科学研究院	8	1	1.0	1.0