天玑大数据引擎及其应用

• 作者: 查礼 程学旗
• 来源期刊: 集成技术
• 学科: 工学
• 关键词: 大数据引擎 数据存储 行列混合 聚簇索引
• 年，卷（期）: 2014,（4）
• 页码范围: 18-30
• 页数: 13页
• 分类号: TP316.4|TP319
• 字数: 10885字
• 语种: 中文

摘要

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献，Apache Hadoop 软件已成为 PB 量级大数据处理的成熟技术和事实标准，并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作，即 RCFile、CCIndex 和 SwiftFS，有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中，直接支持了淘宝和腾讯公司的多个生产性应用。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程学旗	中国科学院计算技术研究所网络数据科学与工程重点实验室	160	4858	31.0	67.0
2	查礼	中国科学院计算技术研究所网络数据科学与工程重点实验室	19	563	9.0	19.0