基于MapReduce的数据立方体分区优化算法研究

• 作者: 张子浪 葛昂 郑家民
• 来源期刊: 信息安全与技术
• 关键词: 数据立方体 数据分区 数据分析
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 理论探讨
• 页码范围: 18-23
• 页数: 6页
• 字数: 5443字
• 语种: 中文

摘要

文章利用并行计算框架MapReduce,探索数据立方体的计算问题.数据立方体的计算存在两个关键问题,一个是计算时间的问题,另一个是立方体的体积问题.随着维度的增加,计算时间将呈现指数级的增长,立方体的体积也是如此.尽管MapReduce是一个优秀的并行计算框架,但在处理数据倾斜时,分区算法不够完善,导致一些计算任务时间过长,影响整个作业的完成时间.本文通过数据采样的方式,优化数据分区,实验结果表明,数据立方体的计算的性能明显提升.为解决数据立方体体积过大的问题,在Reduce阶段将最终的结果输出到基于NoSQL的HBase数据库进行存储,HBase方便水平扩展,同时也便于日后对数据立方体的查询.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	葛昂		2	5	2.0	2.0
2	张子浪		2	14	2.0	2.0
3	郑家民		1	3	1.0	1.0