基于Map-Reduce的海量数据高效Skyline查询处理

• 作者: 丁琳琳 信俊昌 王国仁 黄山
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 云计算 Skyline查询 Map-Reduce 海量数据 Hadoop
• 年，卷（期）: 2011,（10）
• 所属期刊栏目: 海量数据管理架构和处理算法
• 页码范围: 1785-1796
• 分类号: TP311
• 字数: 9709字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2011.01785

摘要

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.