基于Spark和Redis的大规模RDF数据查询系统

• 作者: 徐九韵 王木涵 阳杰
• 来源期刊: 计算机系统应用
• 关键词: 语义Web 大规模RDF Spark Redis
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 系统建设
• 页码范围: 69-74
• 页数: 6页
• 字数: 3823字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.005923

摘要

随着语义Web技术的不断发展,RDF数据量增长迅速,单机RDF查询系统已经难以满足现实需要,研究和构建分布式RDF查询系统已经成为学术界与工业界的研究热点之一.现有的RDF查询系统主要是基于Hadoop或通用分布式技术.前者磁盘I/O太高;后者则可扩展性较差.且两种系统在基本图模式查询时,效率都较低.针对上述问题,本文设计了基于Spark和Redis的分布式系统架构,并改进了查询计划生成算法,最后实现了原型系统RDF-SR.该系统使用Spark减少了磁盘I/O,借助Redis提高了数据映射速率,利用改进的算法减少了数据混洗次数.实验表明,相比于现有的其他系统,RDF-SR既保持了较高可扩展性,又在基本图模式查询时,具有更高的性能.