基于关键列分组排序的列存储结构

• 作者: 徐涛 汪东升 顾瑜
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop 列存储 组排序 大数据
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 1536-1541
• 页数: 6页
• 分类号: TP333
• 字数: 4779字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.08.004

摘要

磁盘作为海量数据的主要存储介质,具有容量大、成本低的优点,但是磁盘IO带宽远远落后于数据增长速度,日益成为大数据管理系统的性能瓶颈.因此,优化存储结构、提高读写效率是大数据时代管理系统面临的重要挑战.提出了一种基于关键列分组排序的混合列存储结构KCGS-Store,根据关键列分组将关系表划分为存储池,确保池内所有记录在关键列上的取值或取值范围相同,然后逐列进行池合并.合并后的关键列,以池为单位有序排列,执行条件查询时能够有效过滤无关列值,减少数据读取量,提升查询性能.同时利用池号索引,以少量时间空间代价完成记录重组.实验数据表明,与ORCFile、Par-quet存储结构相比,KCGS-STORE在存储空间、数据加载、SQL查询等方面都有不同程度的优化.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	汪东升	清华大学计算机科学与技术系	74	1037	18.0	29.0
2	徐涛	清华大学计算机科学与技术系	13	65	5.0	8.0
3	顾瑜	清华大学计算机科学与技术系	4	9	2.0	3.0