基于云计算的海量大数据智能清洗系统设计

• 作者: 张明富 王力 黄正鹏
• 来源期刊: 现代电子技术
• 关键词: 云计算 海量大数据 智能清洗系统 云聚类 查准率 召回率
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 电子技术及应用
• 页码范围: 116-120
• 页数: 5页
• 分类号: TN02-34
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.03.028

摘要

大数据资源是企业拥有的最重要的战略资源之一,也是管理层制定远景规划,提高市场竞争力的主要方式和途径,但大数据中会存在错误、冗余和不完整的数据,降低了大数据的总体质量.为此设计一种基于云计算的海量大数据智能清洗系统,改善现有大数据清洗系统在脏数据处理性能上的不足.分析了基于云计算的大数据智能清洗系统的总体框架和硬件构成,数据清洗系统的硬件部分由数据预处理模块、数据云聚类模块、数据识别模块和实体划分模块等部分组成;给出了智能大数据清洗系统的总体软件工作流程,并重点分析大数据空间聚类、相似度计算等关键的数据处理技术.验证结果表明,提出的基于云计算的海量大数据智能清洗系统设计的总体功能性较为完善,在系统性能测试方面也能够保持95％以上的数据查准率和召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄正鹏	贵州工程应用技术学院信息工程学院	14	14	2.0	3.0
2	王力	贵州工程应用技术学院信息工程学院	17	21	3.0	4.0
3	张明富	贵州工程应用技术学院信息工程学院	7	20	2.0	4.0