基于大数据的数据清洗研究

• 作者: 康鲲鹏
• 来源期刊: 江西科学
• 关键词: 数据清洗 方差分量 大数据 长程依赖 多级模型 时间序列
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 信息科学
• 页码范围: 654-657
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.13990/j.issn1001-3679.2018.04.024

摘要

大数据具有体量大、来源和格式多样、增长速度快、价值密度低和处理难度大的特点,即使通过合理设计参数对某段数据进行点估计的结果可能相当令人满意,但通过应用标准统计程序对整个数据体进行精度估计得到的结果,却是差强人意,从而误导人们.目的旨在分析影响大数据清洗的主要因素有哪些,首先回顾了数据获取对时间序列的依赖性并构造了一个大数据模型,然后在列出数据估计时所用的一些属性后,给出了数据清洗时的回归分析,同时探讨回归系数估计的可能影响.最后给出了大数据处理中误差累积的通用表示方法,提出了与时间序列理论中短程和长程依赖之间的区别大致相同的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	康鲲鹏	商丘师范学院信息技术学院	18	27	3.0	3.0