YARM:基于MapReduce的高效可扩展的语义推理引擎

• 作者: 王芳芳 袁春风 顾荣 黄宜华
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: RDF RDFS推理 MapReduce 语义推理 分布式推理
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 大数据
• 页码范围: 74-85
• 页数: 12页
• 分类号: TP338|TP182
• 字数: 10170字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2015.00074

摘要

随着语义网的快速发展,RDF语义数据大量涌现.大规模RDF语义数据推理的一个主要问题是计算量大、完成计算需要消耗很长的时间.显然,传统的单机语义推理引擎难以处理大规模的语义数据.另一方面,现有的基于MapReduce的大规模语义推理引擎,缺乏对算法在分布和并行计算环境下执行效率的优化,使得推理时间仍然较长.此外,现有的推理引擎大多存在可扩展性方面的不足,难以适应大规模语义数据的增长需求.针对现有的语义推理系统在执行效率和可扩展性方面的不足,文中提出了一种基于MapReduce的并行化语义推理算法和引擎YARM.为了实现分布和并行计算环境下的高效推理,YARM做出了以下4点优化:(1)采用合理的数据划分模型和并行化算法,降低计算节点间的通信开销;(2)优化推理规则的执行次序,提升了推理计算速度;(3)设计了简洁的去重策略,避免新增作业处理重复数据;(4)设计实现了一种新的基于MapReduce的并行化推理算法.实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	袁春风	南京大学计算机软件新技术国家重点实验室	51	926	18.0	29.0
2	王芳芳	南京大学计算机软件新技术国家重点实验室	7	42	3.0	6.0
3	黄宜华	南京大学计算机软件新技术国家重点实验室	20	153	7.0	12.0
4	顾荣	南京大学计算机软件新技术国家重点实验室	5	78	4.0	5.0