基于优化深度置信网络的多源异构数据清洗算法研究

• 作者: 程大勇
• 来源期刊: 重庆科技学院学报（自然科学版）
• 学科: 工学
• 关键词: 多源异构数据 Hadoop框架 曼哈顿距离 深度置信网络 属性约简
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 计算机与自动化技术
• 页码范围: 59-63,69
• 页数: 6页
• 分类号: TP310
• 语种: 中文
• DOI: 10.3969/j.issn.1673-1980.2021.06.013

摘要

针对海量工业大数据的多源异构性特征,提出一种基于优化深度置信网络的大数据清洗算法.在Hadoop框架下,利用曼哈顿距离描述高维空间内多源异构数据之间的关系,构建深度置信网络模型,基于隐含层中的RBM结构训练样本数据;同时,利用能量函数联合概率优化神经网络模型,实现数据属性的约简,并剔除冗余、错误及不完整的干扰数据.