路径-维度GraphOLAP大规模多维网络并行分析框架

• 作者: 刘昱彤 吴心宇 吴斌 孙思瑞 张子兴 张有杰 彭程程
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 图立方体 方体物化 关系路径 图联机分析处理
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 基于图结构的大数据分析与管理技术专刊
• 页码范围: 545-568
• 页数: 24页
• 分类号: TP311
• 字数: 21021字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005443

摘要

现实生活中,大量数据都可以使用多维网络进行建模.如何更好地对多维网络进行分析,是研究人员关注的重点.OLAP(联机分析处理)技术已被证实是对多维关系数据进行分析的有效工具,但应用OLAP技术管理与分析多维网络数据以支持有效决策,仍是一项巨大的挑战.设计并提出了一种图立方体模型:路径-维度立方体,并针对提出的立方体模型将物化过程划分为关系路径物化与关联维度物化两部分,分别提出了物化策略,并基于Spark框架设计了相关算法.在此基础上,针对网络数据设计并细化了相关的GraphOLAP(图联机分析处理)操作,丰富了框架的分析角度,提高了对多维网络的分析能力.最后,在Spark上实现了相关算法,通过对多个真实应用场景中的数据构建多维网络,在分析框架上进行了分析,实验结果表明,所提出的图立方体模型和物化算法具有一定的有效性和可扩展性.