浅析腾讯TDW对Hive的应用和优化

• 作者: 赵伟
• 来源期刊: 程序员
• 学科: 工学
• 关键词: 腾讯 优化 POSTGRESQL 分布式数据仓库 应用 数据平台 海量数据存储 分析服务
• 年，卷（期）: 2013,（2）
• 页码范围: 44-47
• 页数: 4页
• 分类号: TP311.56

摘要

腾讯分布式数据仓库（Tencent distributed Data Warehouse，以下简称TDW）是腾讯工程技术事业群数据平台部基于Hadoop、Hive、PostgreSQL研发的大数据处理平台，并在它们的基础上做了大量优化。目前TDW是腾汛内部规模最大的分布式系统，集中了腾讯内部各个产品的数据，为腾汛的子个产品提供海量数据存储和分析服务，包括数据挖掘、产品报表、经营分析等服务。TDW平台现在的机器总量达到5．000台以上，最大集群约2，000个节点，覆盖嘴讯90％以上的业务产品。