大型商业银行基于Hadoop分布式数据仓库建设初探

• 作者: 孙元浩 杨頲 许勤 韩路
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 分布式数据仓库 Hadoop 数据批处理 历史数据查询 交互式分析
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 数据工程
• 页码范围: 72-75,113
• 页数: 5页
• 分类号: TP311
• 字数: 3747字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2017.08.013

摘要

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高.通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作.该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理.应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙元浩		8	11	2.0	3.0