基于MapReduce快速kNN Join方法

• 作者: 丁治明 戴健
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: kNN连接 大数据 MapReduce
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 大数据
• 页码范围: 99-108
• 页数: 10页
• 分类号: TP311
• 字数: 9121字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2015.00099

摘要

kNN连接是空间数据库领域里一个基本而又重要的问题,被广泛地应用于多个其他领域.它对提高众多实际应用的性能有着重要意义.随着目前参加kNN连接的数据集的增大和要求的响应时间的缩短(尤其在一些应急环境中),作者实际上对kNN连接的效率要求更高.然而,目前的方法大多基于单个进程或者单台机器,并不具有很好的伸缩性.为了解决这个问题,作者引入了map-reduce框架来运行kNNjoin并提出了两种新的方法:基于map-reduce的分布式网格概略化kNN join(DSGMP-J)和基于map-reduce的voronoi diagram下kNN join(VDMP-J).并把它们和最新的方法H-BNLJ进行了实验对比.实验结果证明了作者提出的DSGMP-J和VDMP-J方法具有较优的伸缩性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁治明	中国科学院软件研究所基础软件国家工程研究中心	31	798	12.0	28.0
2	戴健		3	30	2.0	3.0