MR-DC:基于MapReduce的轻量级数据压缩策略

• 作者: 丁祥武 田波
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 数据压缩 Hadoop 压缩数据页 行列混合存储结构
• 年，卷（期）: 2015,（1）
• 页码范围: 77-80,83
• 页数: 5页
• 分类号: TP311
• 字数: 4645字
• 语种: 中文

摘要

大数据平台Hadoop为追求通用性,牺牲了对结构化大数据的处理性能.为此,提出了一种Hadoop平台上的针对结构化数据的压缩存储策略.首先,针对多种不同的数据类型,结合轻量级压缩算法的特点,设计了多种数据类型的压缩数据页;然后,设计了基于HDFS的页式行列混合存储结构;最后,设计并实现了基于MapReduce的MR-DC数据压缩策略,将数据压缩存储到设计的存储结构中.在大规模数据仓库基准数据集上的实验结果验证了提出的策略能够显著减少结构化数据的存储量,从而为提高后续的数据分析处理性能打下基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁祥武	东华大学计算机科学与技术学院	27	181	8.0	11.0
2	田波	东华大学计算机科学与技术学院	4	14	3.0	3.0