数据预处理技术在异构数据中的应用

• 作者: 刘洋 宋尚文 罗长银 陈学斌
• 来源期刊: 软件
• 学科: 工学
• 关键词: 数据预处理 频率分布 马氏距离
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 基金项目论文
• 页码范围: 6-13
• 页数: 8页
• 分类号: TP391
• 字数: 5625字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2020.05.002

摘要

数据预处理成为数据挖掘与分析最重要的一环,针对多源数据中数据冗余和数据缺失以及浪费算力的问题,本文采用系数对重复性的数值型数据进行检测和基于传统的字段匹配算法,提出了系数能够解决相同的字段在不同的字符串中的相似程度的问题,对缺失值数据采用频率分布和牛顿插值法来填充缺失值,使数据也具有基本的安全性和有效性,采用马氏距离可以有效的去除异常值,最后通过数据约简的方法来减少数据规模.经实验验证,经过预处理后的数据建立的模型的准确度没有太大影响,但处理时间以及安全性得到了大幅度的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈学斌	华北理工大学理学院	14	64	5.0	8.0
4	刘洋	华北理工大学理学院	84	130	7.0	8.0
8	罗长银	华北理工大学理学院	4	0	0.0	0.0
11	宋尚文	华北理工大学理学院	2	0	0.0	0.0