基于mapreduce地价分类模型探究实现

《基于mapreduce地价分类模型探究实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级注1UDC学位论文基于MapReduce地价分类模型探究实现（题名和副题名）刘沛文（作者姓名）指导教师刘强副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业测绘科学与技术提交论文日期2018.5.7论文答辩日期2018.5.22学位授予单位和日期电子科技大学2018年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ExplorationandRealizationofLandPriceClassificationModelBasedonMapReduceAMas

2、terThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaDiscipline:SurveyingandMappingAuthor:PeiwenLiuSupervisor:AssociateProfessorQiangLiuSchool:SchoolofResourcesandEnvironment摘要摘要随着我国城市化进程的推进以及土地市场化程度的日益提高，土地成交价格在当今城市经济活动中的作用越来越显著，不仅是地产、金融等相关

3、从业人士及政府工作人员，包括广大人民群众都对城市地价表现出高度的关心。合理的城市地价制定一方面能高效控制城市规模、合理优化城市产业结构、积极拓展招商引资、科学指导房地产金融相关政策制定，同时能合理促进城市化发展提高城市核心竞争力。同时随着各类摄影测量工具精度的提高，以及计算机、网络技术发展，相关数据在分辨率提升的同时体量也在不断增大。面对海量的栅格地图数据或者空间信息数据，普通个人电脑在进行空间数据计算分析时逐渐显现出性能瓶颈，需要一套高效、稳定的“云端化”方案来提升空间数据处理能力，降低使用成本。然而目前业

4、内在云计算方面发展尚属起步阶段，还没有一款设计合理、功能全面的web应用，本研究尝试使用Hadoop来解决空间数据计算、获取、分析等多方面实际问题，旨在推动空间数据“云端化”进程，这也是本文核心创新点所在。Hadoop是Apache旗下的开源分布式计算架构，其组成核心是一个分布式文件存储系统HDFS（HadoopDistributedFileSystem）和一个并行计算框架MapReduce。其优点在于对计算机底层的分布调用过程进行了封装，将分布式计算标准化为简单的Map和Reduce过程，使开发过程清晰明了

5、的同时保证了系统的高效性和高容错性。本研究主要涵盖以下三个方面的内容：第一方面是基于MapReduce的分布式空间数据计算算法设计。论文查阅ArcGIS技术文档以及开源GIS软件的串行计算源码梳理出单机串行条件下多种空间数据计算算法的实现思路，再结合MapReduce自身机制的运作特点，开发实现了分布式条件下栅格图像的坡度分析、缓冲区分析、欧式分配、核密度分析等常用功能。第二方面是数据获取和数据预处理。论文数据范围确定于成都市主城区，数据涵盖土地交易数据以及兴趣点、DEM（DigitalElevationMo

6、del）、道路数据、河流数据、公交站点、地铁站点等影响因素数据。数据主要由两种渠道获取，一是实验室现有的数据，二是爬取自网络的数据。编写爬虫时结合MapReduce、线程池等技术开发出分布式异步爬虫，使得数据爬取效率有所提升。影响因素数据预处理时又用到了第一步研究内容中开发的分布式空间数据计算工具，最终生成用于分类的地价数据集。第三方面是利用分类模型对地价数据集进行分类。首先对现有成熟的分类方I摘要法如朴素贝叶斯、k-近邻、随机森林、神经网络、支持向量机进行研究，选取适宜的方法研究其分布式条件下实现策略，并且

7、在单机及分布式条件下进行比较。然后将地价数据集放入模型进行训练并回测，分析结果。最后从宏观因素补充数据集、关联分析精简数据集两个角度探究对分类精度、训练效率的影响。关键词：地价、空间数据计算、MapReduce、机器学习、分类IIABSTRACTABSTRACTThepriceoflandismoreandmoresignificantwiththedevelopmentofurbanizationprocessandtheincreaseofmarketizationdegreeofland.Notonly

8、dofinancialpractitionersoremployeesofanestateenterprisepayattentiontothelandprice,butalmosteveryonecaresaboutit.Areasonablelandpricecancontrolthescaleofacityandoptimizetheindustrialstructure.Itcanalsop