基于大数据技术的数据仓库体系结构设计

• 作者: 姚鹏飞
• 来源期刊: 数字技术与应用
• 学科: 工学
• 关键词: 大数据 数据仓库 体系结构
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 设计开发
• 页码范围: 141-143
• 页数: 3页
• 分类号: TP311.13
• 字数: 3273字
• 语种: 中文
• DOI: 10.19695/j.cnki.cn12-1369.2019.03.77

摘要

大数据时代,数据结构的复杂性和数据体量的剧增使得传统数据仓库体系结构已经不能满足数据处理的需要.本文在对传统数据仓库体系结构相关理论研究的基础上,重点分析了传统数据仓库体系结构存在的不足以及大数据的特征和对数据处理的新需求,构建了基于大数据技术的数据仓库体系结构,采用目前流行的Hadoop/Spark大数据处理技术架构,实现半结构化数据和非结构化数据的收集、处理、存储和分析挖掘,弥补了传统数据仓库在海量数据处理、存储方面的不足,有效解决数据利用率低、价值发挥不明显的问题.