论文研究-大数据分析中基于MapReduce的空间权重创建方法研究.pdf下载

大数据空间分析是Cyber-GIS的重要方面。如何利用现有的网络基础设施（如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。提出一种基于MapReduce的空间权重创建方法。该方法依托Hadoop框架组织计算资源，基于MapReduce模式从大规模空间数据集中高效创建出空间权重：大空间数据首先被分为多个数据块，然后将映射器分布给计算集群中的不同节点，以便在数据中寻找出空间对象的相邻对象，最后由约简器从不同节点处收集相关结果并生成权重文件。利用Amazon公司弹性MapReduce的Hadoop框架，从人工空间数据中创建基于邻近概念的权重矩阵进行仿真，实验结果表明，本方法的性能优于传统方法，解决了大数据的空间权重创建问题。