海量浮动车数据并行处理可视化研究.pdf

《海量浮动车数据并行处理可视化研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号:TP27410710-2015232005专业硕士学位论文海量浮动车数据并行处理可视化研究王秉章代亮副教授导师姓名职称专业学位类别申请学位类别专业硕士及领域名称控制工程论文提交日期2018年4月10日论文答辩日期2018年5月25日学位授予单位长安大学ResearchonVisualizationofParallelProcessingforMassiveFloatingCarDataAThesisSubmittedfortheDegreeofMasterCandidate:WangBin

2、gzhangSupervisor:Prof.DaiLiangChang’anUniversity,Xi’an,China摘要城市公共交通中的出租车、公交车每天都会产生大量轨迹数据，面对这些海量数据，由于传统的单节点计算系统的处理能力有限，基于并行计算模式的大数据处理平台应运而生，海量数据处理技术Hadoop支持超大数据文件，对数据采用并行处理的方式，实现对海量数据的处理与分析。随着城市车辆位置信息采集技术的快速发展和应用，浮动车位置数据成为交通状态分析的重要数据源。出租车作为城市交通浮动车的重要组

3、成部分，在城市交通中扮演着非常重要的角色。出租车运营公司保存大量的出租车GPS（GlobalPositioningSystem，全球定位系统）数据，从这些海量GPS数据中获得有用信息是一项非常有意义的工作。本文使用Hadoop大数据平台结合Esri公司推出的地理信息系统大数据处理模块GIS-Tools-for-Hadoop对西安市出租车GPS数据进行分析并挖掘出载客热点区域，利用ArcGIS软件进行可视化展示。论文首先简要介绍Hadoop平台，对HDFS（HadoopDistributedFile

4、System，Hadoop分布式文件系统）、MapReduce（Hadoop分布式计算框架）、Hive（Hadoop数据仓库工具）的架构、运行机制等进行介绍，详细介绍GIS-Tools-for-Hadoop模块组成及作用，然后介绍Hadoop海量数据处理平台搭建方法，最后进行出租车GPS数据分析和载客热点区域可视化工作。在数据分析和可视化过程中，需要地图JSON文件和出租车GPS数据文件，配置使用Hadoop地理数据处理工具Geoprocessing-Tools-for-Hadoop获取西安市地图

5、JSON文件，从Oracle数据库中获取出租车GPS数据文件。将上述两个数据文件上传到HDFS中，使用EsriGeometryAPI对地图区域进行等网格划分，将西安市划分为多个区域块，根据出租车GPS数据的经纬度匹配所属区域块，通过两个MapReduce作业获得出租车载客热点区域和出租车行程数量，最后使用Hadoop空间信息分析框架Spatial-Framework-for-Hadoop在Hive中进行空间查询，将热点区域展示于ArcGIS软件。关键词：Hadoop平台GIS-Tools-for-

6、Hadoop浮动车数据载客热点iAbstractInthecitypublictransportationtaxi,thebuswillproducethemassivetrackdataeveryday,facedwiththesemassivedata,becausethetraditionalsinglenodecomputingsystem'sprocessingabilityislimited,themassivedataprocessingplatformwhichisbasedont

7、heparallelcomputationpatternemergesasaresult,themassdataprocessingtechnologyHadoopsupportstheoversizeddatafile,Thedataisprocessedandanalyzedbythewayofparallelprocessing.Withtherapiddevelopmentandapplicationofurbanvehiclelocationinformationacquisitiont

8、echnology,floatingcarpositiondatahasbecomeanimportantdatasourceoftrafficstateanalysis.Asanimportantpartofcitytrafficfloatingcar,taxiplaysaveryimportantroleincitytraffic.TaxioperatorskeepalargeamountofGlobalPositioningSystem(GPS)datafortaxis,an