大数据分析中基于 MapReduce 的空间权重创建方法研究

• 作者: 郭平
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 大数据空间分析 MapReduce 空间权重 附近邻居 可扩展性
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 大数据,云计算
• 页码范围: 533-538
• 页数: 6页
• 分类号: TP391
• 字数: 3617字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2016.04.014

摘要

大数据空间分析是 Cyber-GIS 的重要方面。如何利用现有的网络基础设施（比如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。为此，提出一种基于 MapReduce 的空间权重创建方法。该方法依托Hadoop 框架组织计算资源，基于 MapReduce 模式从大规模空间数据集中高效创建出空间权重：大空间数据被分为多个数据块，将映射器分布给计算集群中的不同节点，以便在数据中寻找出空间对象的相邻对象，由约简器从不同节点处收集相关结果并生成权重文件。利用 Amazon 公司弹性 MapReduce 的 Hadoop 框架，从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明，该方法的性能优于传统方法，解决了大数据的空间权重创建问题。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭平	广东交通职业技术学院信息管理中心	20	77	4.0	7.0