基于hadoop的地质灾害预警系统设计与应用

《基于hadoop的地质灾害预警系统设计与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级：公开中图分类号：P208硕士学位论文基于Hadoop的地质灾害预警系统设计与应用研究生：李杨导师：李朝奎教授专业类别：地理学专业领域：地图学与地理信息系统2018年6月AThesisSubmittedfortheDegreeofMasterDesignandApplicationofGeologicalDisasterWarningSystemBasedonHadoopCandidate：LIYangSupervisorandRank：ProfessorLIChaokui基于Hadoop的地质灾害预警系

2、统设计与应用学位类型学术型学位作者姓名李杨作者学号15010701007学科（专业学位类别)地理学研究方向（专业领域)地图学与地理信息系统导师姓名及职称李朝奎教授实践导师姓名及职称所在学院资源环境与安全工程学院论文提交日期2018年6月学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果

3、由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名：日期：年月日资助项目[1]中山市国土局公益性项目：研究区地质灾害监测预警软件系统（项目编号：ZZ21550338）[2]国土资源部公

4、益性行业科研专项经费课题：“地质大数据技术研究与应用试点”（项目编号：201511079-04）摘要当前社会经济的高速发展的背后则充斥着人类对自然资源的大肆开发利用，这种“竭泽而渔”的做法使得我们周围的环境十分脆弱、地质环境极不稳定，灾害频繁发生，严重威胁了人民的生命财产安全。目前，人们采用多种传感器来监测各类地质、气象等灾害，记录下了海量的监测数据，充分利用地质灾害监测数据并采用相应的地质灾害预警算法对地质灾害进行快速有效的预警是一项意义重大的工程。本文结合Hadoop框架中HBase分布式数据库和MapR

5、educe并行编程模型的优势，设计了基于Hadoop的地质灾害预警系统。经实验验证，其结果表明该系统在矢量空间数据存储查询和地质灾害预警方面相较于传统的地质灾害预警系统在效率上得到了很大的提升，可以做到实时性预警。论文的研究工作与创新如下：1、分析了HBase按列存储、具有高容错、易扩展、适合于存储非结构化的矢量空间数据的机制，设计了面向HBase存储表的Shapefile格式的矢量空间数据存储的表模式。该表模式包括了具有空间对象坐标及其图层信息的行键、便于查询过滤的过滤列族、存储几何属性信息的几何列族和存储

6、非几何属性信息的非几何列族。2、结合GeoTools工具读取几何属性文件（*.shp）和非几何属性文件（*.dbf）的方法，设计了将Shapefile格式的矢量空间数据的几何属性信息和非几何属性信息读取出来并转化成行键和其对应列族的方法，实现了Shapefile文件存入HBase表。3、根据现有的矢量空间数据区域查询算法，设计了基于MapReduce2.0的窗口区域和多边形区域并行化查询算法。4、设计了单指标、多指标、地质灾害区域分级相结合的地质灾害预警模型，并对单指标预警模型和多指标预警模型进行了基于Map

7、Reduce的并行化改进。实验证明，①矢量空间数据存储模型及导入HBase的方法是可行的；②基于MapReduce2.0的区域查询算法具有较高的查询效率；③基于MapReduce的地质灾害预警模型并行化算法相较于基于MPI并行运行地质灾害预警模型在效率上得到了很大提升。综上所述，基于Hadoop的地质灾害预警系统模块功能基本可行，并且可以大幅缩短预警时间，提高预警效率。关键词：地质灾害；预警；Hadoop；HBase；MapReduce；系统IAbstractWiththerapiddevelopmentof

8、socialeconomy,humanexploitandutilizenaturalresourcesonalargescale,whichmakesthesurroundingenvironmentveryfragile,thegeologicalenvironmentisextremelyunstable,thedisastersoccurfrequently,anditseriouslyth