基于MongoDB的海量空间数据存储和并行-论文.pdf

《基于MongoDB的海量空间数据存储和并行-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2014年2月地理空间信息Feb.,2014第12卷第1期GEOSPATIALINFORMATIONVol.12,No.1doi:10.11709/j.issn.1672-4623.2014.01.017基于MongoDB的海量空间数据存储和并行111张 恩，张广弟，兰 磊（1．江西理工大学建筑与测绘工程学院，江西赣州341000）摘 要：目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的，对于二三维的海量空间数据存储效果不理想，其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此，分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和

2、快速处理具有重要的研究意义。关键词：海量空间数据；分布式存储；并行计算；MongoDB；MapReduce中图分类号：P208文献标志码：B文章编号：1672-4623（2014）01-0046-03[4]当前市场上已存在一些较成熟的分布式存储软件和空间分析等需求。[1]主要有2条弊端：不能更好地支持非结构化和半结1 并行处理过程设计与核心模块实现构化的空间数据存储；不能实现对海量数据的高效访问和处理。因此，解决大规模数据处理的方法之1.1 并行处理体系框架和流程一就是利用多台普通机器架设分布式环境以进行并图1为HMGIS的框架图，是专门为解决海量[2]行计算。并行计算的主要思路是把计算任

3、务并行化，空间数据高效存储和并行处理而建立的，主要包括即把整体的海量数据处理任务分发到多个服务器节MongoDB分布式集群、Hadoop集群、Master主服务[3]点，利用多机的计算能力，加快数据处理速度。采器和Mongos路由两者之间的控制和交互3个方面。用并行计算可满足海量空间数据的并发访问、处理空间统计分析空间数据存储空间数据多种查询空间数据同步更新地理计算Mongos路由任务分配outputInput并行模式MongodbShard分片1空间数据Shard11空间数据Shard21空间数据Shard31空间数据Shard41MongodbShard空间数据Shard12空间数据S

4、hard22空间数据Shard32空间数据Shard42分片2MongodbShard空间数据Shard13空间数据Shard23空间数据Shard33空间数据Shard43分片N图1 HMGIS系统框架流程图1.2 基于Hadoop的MongoDB数据库集群层数据库平台环境。设置了3个子节点、1个中心节为了实现HMGIS数据库管理，搭建了自己的底点、节点机器为实验室几台配置较高的同型号笔记收稿日期：2013-06-19。项目来源：江西省教育厅科技资助项目（GJJ13431）。第12卷第1期张 恩等：基于MongoDB的海量空间数据存储和并行·47·本，每个节点的硬件及操作系统配置均相同，

5、其中服rs.initiate(config);务器环境为Linux32-bitsUbuntu11.10，开发环境为5）启动3个配置服务节点Configsvr。代码如下：Window7，集群Hadoop的版本采用Hadoop0.20.1/data/db/mongodb/bin#./monogd–configsvr–进行环境架构，MongoDB数据库版本是MongoDB-dbpath/data/configsvr/config–port20000–logpath/Linux-i686-2.2.0。data/config.log–logappend-fork/data/db/mongodb/bi

6、n#./monogd–configsvr–2 MongoDB集群的搭建dbpath/data/configsvr/config–port20000–logpath/data/config.log–logappend-fork1）由于需要跟Hadoop框架进行配套，所以/data/db/mongodb/bin#./monogd–configsvr–MongoDB集群的配置方案为：①3个分片sharding；dbpath/data/configsvr/config–port20000–logpath/②每一个分片由3个节点构成（1主2备的Replicadata/config.log–logap

7、pend–fork-chunkSize50Sets）；③3个配置节点Configsever；④1个路由节点6）在Master上启动路由节点。代码如下：Mongos，如表1所示。/data/db/mongodb/bin#./mongos–configdb192.168.表1 MongoDB集群节点配置情况表1.102:20000,192.168.1.103:节点名IP端口信息Ubuntu1192.168.1.102mong