大数据分析的分布式MOLAP技术

• 作者: Jean-Marc PIERSON 于戈 宋杰 张一川 王智 郭朝鹏
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大数据 多维数据模型 OLAP MapReduce
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 大数据专题
• 页码范围: 731-752
• 页数: 22页
• 分类号: TP311
• 字数: 17877字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.004569

摘要

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统(HDFS)和MapReduce编程模型的分布式MOLAP技术,称为DOLAP(distributed OLAP).DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于戈	东北大学信息科学与工程学院	426	6587	38.0	64.0
2	宋杰	东北大学软件学院	39	690	14.0	25.0
3	张一川	东北大学软件学院	16	184	8.0	13.0
4	王智	东北大学软件学院	6	96	4.0	6.0
5	郭朝鹏	东北大学软件学院	5	113	5.0	5.0