大数据下数据预处理方法研究

• 作者: 叶长青 孔钦 孙赟
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 大数据 预处理 脏数据 研究
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 1-4
• 页数: 4页
• 分类号: TP301
• 字数: 4100字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.05.001

摘要

大数据时代下,数据类型和组织模式多样化、关联关系繁杂、质量良莠不齐等内在的复杂性使得数据的感知、表达、理解和计算等多个环节面临着巨大的挑战.数据预处理是数据分析、挖掘前一个非常重要的数据准备工作.一方面它可以保证挖掘数据的正确性和有效性,另一方面通过对数据格式和内容的调整,使数据更符合挖掘的需要.文中分析了预处理过程中的主要任务,总结了目前针对各类"脏数据"的几种常用的处理方法,重点阐述了数据在清洗、集成、变换和归约过程中的常用算法.通过各种预处理方法,清除冗余数据,纠正错误数据,完善残缺数据,甄选出必需的数据进行集成,使得数据信息精练化、数据格式一致化和数据存储集中化.在最精确、最可靠的最小数据集合上进行数据挖掘,大大减少了系统挖掘的开销,提高了知识发现的准确性、有效性和实用性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孔钦		8	59	2.0	7.0
2	叶长青		13	67	3.0	8.0
3	孙赟		4	49	2.0	4.0