基于 MapReduce 的预处理高效 Skyline 算法

• 作者: 张大方 李文俊 李玮
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: MapReduce 大数据 Skyline
• 年，卷（期）: 2015,（3）
• 所属期刊栏目: 算 法
• 页码范围: 243-246,278
• 页数: 5页
• 分类号: TP311
• 字数: 5082字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2015.03.058

摘要

现有基于 MapReduce 的算法不能高效地解决大数据的 Skyline 查询问题。针对这种情况，提出一种高效的预处理 Skyline查询算法 MRFS（MapReduce based Filter Skyline），对大数据集进行预处理，提取支配能力较强的小点集组成比较点集，在算法开始前用比较点集对原始数据集进行过滤，排除掉一大部分不能成为 Skyline 结果集的数据对象；再对过滤后的数据集在 Map 阶段并行计算出局部 Skyline 集；最后合并到一个 Reduce 任务，得到最终的 Skyline 结果集。在不同数据分布下对该算法进行系统实验，结果表明算法比现有的算法在时间效率上提高了20％～30％。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张大方	湖南大学信息科学与工程学院	295	2498	22.0	33.0
2	李玮	湖南大学信息科学与工程学院	17	120	7.0	10.0
3	李文俊	湖南大学信息科学与工程学院	7	30	4.0	5.0