基于DW2.0的烟草海量数据分析系统的设计与实现

• 作者: 庄文杰 沈毅 肖迎宾 许建 邢阳
• 来源期刊: 烟草科技
• 学科: 工学
• 关键词: 烟草 海量数据 数据仓库 DW2.0理论 Hadoop架构 数据生命周期
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 信息技术
• 页码范围: 96-102
• 页数: 7页
• 分类号: TS46
• 字数: 5476字
• 语种: 中文
• DOI: 10.16135/j.issn1002-0861.20160416

摘要

为解决传统数据仓库系统在数据存储、数据处理、数据展现能力等方面存在的问题，结合江苏中烟的实际应用情况，设计了烟草海量数据分析系统。借鉴DW2.0理论并结合大数据应用技术，引入分布式处理架构，采用传统数据仓库与Hadoop融合的方式，形成集成、协同的数据仓库架构；引入数据生命周期管理方法，提高系统的快速响应能力；利用Hadoop HBase处理非结构化数据，以Hadoop MapReduce的并行计算框架作为通信层，调度和协调集群中各节点的计算和通信。测试结果表明，数据量在1亿条、10亿条时，新系统的响应时间比传统方式分别提升30%、80%，有效提高了数据查询效率，提升了企业数据仓库系统的应用水平。