基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

• 作者: 朱琛刚 高晓俊
• 来源期刊: 有线电视技术
• 关键词: 数据仓库 分布式文件系统 SQL-on-Hadoop HBase 可扩展性
• 年，卷（期）: 2017,（10）
• 所属期刊栏目: 运营商平台搭建
• 页码范围: 42-47
• 页数: 6页
• 字数: 6671字
• 语种: 中文

摘要

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF.TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力.TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本.测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高晓俊		11	3	1.0	1.0
2	朱琛刚		5	0	0.0	0.0