基于SPARK的大规模RDF数据上的SPARQL查询算法

• 作者: 崔家奇 闫威
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: RDF数据 SPARQL查询 SPARK分布式平台平衡语义划分通信开销
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 数据工程
• 页码范围: 26-31,45
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.12.005

摘要

海量RDF很难在单台机器上进行管理和查询RDF数据.针对该问题,提出一种基于Spark的SPARQL查询方法SSQ,将SPARQL查询转化为Spark分布式平台上的RDD操作.将数据图及查询图进行有效划分,增加并行度且减少分区间通信开销.通过谓词索引减小搜索空间,并优化连接,减少匹配次数,提高查询效率.在Spark集群上实现算法,在合成数据集LUBM上进行测试并与现有方法进行比较.结果表明该算法能够快速执行复杂SPARQL查询,并具有良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔家奇		1	0	0.0	0.0
2	闫威		3	4	1.0	2.0