MapReduce框架下一种负载均衡的Top-k连接查询算法

• 作者: 刘旭敏 徐维祥 胡东明
• 来源期刊: 计算机测量与控制
• 关键词: Top-k连接查询 MapReduce框架 数据过滤 负载均衡 执行时间
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 设计与应用
• 页码范围: 238-242
• 页数: 5页
• 分类号: TP311
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2018.08.053

摘要

针对传统Top-k连接查询算法在处理海量数据时的时效问题,提出一种基于MapReduce框架的负载均衡的并行Top-k连接查询算法(P-TKJ);使用直方图形式来存储数据,有助于提高CPU的利用率;同时融入了提前终止策略和磁盘数据的选择性访问,以便提高对HDFS数据访问的性能;另外,融入了数据过滤和基于最长处理时间优先(LPT)算法的负载均衡策略来减少和均衡Reduce任务,以此设计出高效的并行Top-k连接算法;一个集群实验结果表明,该方法能够有效缩短算法的执行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐维祥	北京交通大学交通运输学院	44	279	9.0	14.0
2	刘旭敏	首都师范大学信息工程学院	46	645	13.0	24.0
3	胡东明	首都师范大学信息工程学院	2	3	1.0	1.0