基于hadoop的地质空间大数据分布式存储与检索方法研究

《基于hadoop的地质空间大数据分布式存储与检索方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级：公开中图分类号：P208硕士学位论文基于Hadoop的地质空间大数据分布式存储与检索方法研究研究生：赵亚楠导师：李朝奎教授专业类别：地理学专业领域：地图学与地理信息系统2018年5月AThesisSubmittedfortheDegreeofMasterResearchonDistributedStorageandRetrievalSystemBasedonHadoopforGeologicalSpatialBigDataCandidate：ZhaoYananSupervisorandRank：Prof

2、essorLiChaokui基于Hadoop的地质空间大数据分布式存储与检索方法研究学位类型：学术型学位作者姓名：赵亚楠作者学号：15011001008学科（专业学位类别)地理学研究方向（专业领域)地质大数据导师姓名及职称：李朝奎教授实践导师姓名及职称：所在学院：资源环境与安全工程学院论文提交日期：2018年5月学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出

3、重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名：日期：年月日本文得到如下基金课题资助1.国土资源部公益

4、性行业科研专项经费课题：地质大数据技术研究与应用试点(课题编号：201511079-04)摘要地质空间数据是开展地质工作过程中形成的重要信息资源，是人们了解生活环境、开发使用自然资源所必需的数据，具备来源广、类型多、应用广等特点。我国多年积累的海量地质数据既是战略资源也是经济社会发展所必需的基础类资源，为国民经济水平的提高和社会的发展进步提供了主要支撑。然而，在地质空间数据规模急剧增长时，通用的关系型数据库无法很好地应对系统扩展性问题。因此寻求新的技术方法，从而实现海量地质数据存储与管理具有很重要的现实意义。

5、云计算、大数据技术的出现为人们呈现了一种新的解决思路。采用Hadoop的分布式存储系统HDFS、MapReduce并行计算框架、HBase等开源组件可以有效解决上述难题。本文以矿产资源潜力评价成果数据为基础，结合hadoop提出了一种新的基于云计算环境的地质矿产数据管理方法。论文的主要工作及创新如下：(1)通过对地质空间数据存储的需求分析和现有存储技术的研究，提出采用主从结构的Hadoop存储模型，该模型以HDFS底层文件存储为支撑，以廉价Linux集群硬件为基础实现了高容错、高并发的存储性能。(2)针对HD

6、FS的大文件存储特性，提出针对小文件存储的IputMerge优化方法，解决了矿产潜力评价成果数据在Hadoop存储中出现的小文件存储问题。(3)以Hadoop中的MapReduce的并行编程框架为基础，实现在高并发、高负载的环境中对元文件进行高效存储，通过自定义MapReduce方法，合理设置存取地址、调节缓存结构来优化文件读写。(4)分析支持（key,value）键值对快速查询的HBase数据库，利用HBase管理地质空间元数据，根据矿产潜力评价成果数据特性设计HBase行键，同时，采用分布式哈希表原理设计

7、HBase多级索引表格来提高文件访问效率。论文采用HDFS底层存储架构对海量地质空间数据进行存储，构建地质数据存储模型，同时针对HDFS和HBase在地质空间大数据存储和管理过程中出现的问题进行优化和改进。设计地质小文件存储方法，利用HBase列式数据库管理其元数据，设计HBase多级索引表实现高效检索功能。通过对比实验验证了本文的数据管理方法具有比原有系统更好的特性，其研究成果为地质空间大数据的存储与管理提供了一种新的解决思路。关键词：地质空间大数据；Hadoop；HBase多级索引方法；小文件IAbstr

8、actGeologicalspatialdataisanimportantinformationresourceofgeologicalwork,anditisthenecessarydataforhumantounderstandtheexploitationandutilizationofnaturalresourcesinthelivingenvironment.Ithasthecharact