Spark GraphX上的SPARQL查询处理算法

• 作者: 邱慧 邹兆年
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 属性图 SPARQL查询 Spark GraphX 查询树
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 数据库技术
• 页码范围: 1361-1371
• 页数: 11页
• 分类号: TP391
• 字数: 7823字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1709040

摘要

资源描述框架(resource description framework,RDF)由于其表示的灵活性和天然的图数据模型而变得越来越流行.与此同时,RDF数据的数据量也在以惊人的速度增长.由于数据量的增长,在单机上存储和查询RDF数据变得越来越不方便,从而激发了分布式存储查询的需求.学术界在分布式存储查询系统,例如Hadoop、Spark上已经做了大量的工作.基于Hadoop的分布式存储查询方式的主要缺点是中间结果需要被写回磁盘,从而产生大量的I/O操作.提出了一种新的在Spark GraphX上进行SPARQL查询评估的方法SQX,将RDF数据视为一个带标签的属性图,提出了一种新的查询计划生成方案并且通过图并行的方式实现SPARQL查询评估.SQX采用了一种"查询树匹配"+"结果过滤"的方法.针对每一个SPARQL查询,产生相应的查询树和约束条件.在每一轮的超级步中,查询树中的多条边可以被并行处理,对迭代执行完毕后的结果进行过滤,满足约束条件的将作为最终的结果.实验结果表明,算法能够有效处理SPARQL查询并且具有良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邹兆年	哈尔滨工业大学计算机科学与技术学院	17	244	9.0	15.0
2	邱慧	哈尔滨工业大学计算机科学与技术学院	1	1	1.0	1.0