大数据分析中基于MapReduce的空间权重创建方法研究

• 作者: 万良 唐郑熠 赵梦龙 韦力
• 来源期刊: 计算机应用研究
• 关键词: 大数据空间分析 MapReduce 空间权重 附近邻居 可扩展性
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 软件技术研究
• 页码范围: 2068-2070,2082
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.07.032

摘要

大数据空间分析是Cyber-GIS的重要方面.如何利用现有的网络基础设施(如大规模计算集群)对大数据进行并行分布式空间分析仍然是一大难题.提出一种基于MapReduce的空间权重创建方法.该方法依托Hadoop框架组织计算资源,基于MapReduce模式从大规模空间数据集中高效创建出空间权重:大空间数据首先被分为多个数据块,然后将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,最后由约简器从不同节点处收集相关结果并生成权重文件.利用Amazon公司弹性MapReduce的Hadoop框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真,实验结果表明,本方法的性能优于传统方法,解决了大数据的空间权重创建问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵梦龙	贵州职业技术学院信息技术系	9	5	2.0	2.0
2	唐郑熠	福建工程学院信息科学与工程学院	17	19	3.0	3.0
3	万良	贵州大学计算机科学与技术学院	37	125	6.0	8.0
4	韦力	贵州师范大学数学与计算机科学学院	1	2	1.0	1.0