基于Hadoop的电力地理信息系统数据管理.pdf

《基于Hadoop的电力地理信息系统数据管理.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、JournalofComputerApplicationsISSN1001．90812014．10—10计算机应用，2014，34(10)：2806—2811CODENJYIIDUhttp：／／www．joca．an文章编号：1001—9081(2014)10—2806—06doi：10．11772／j．issn．1001—9081．2014．10．2806基于Hadoop的电力地理信息系统数据管理林碧英，王艳萍(华北电力大学控制与计算机工程学院，北京102206)(通信作者电子邮箱aiaibanban@126．com)摘要：针对传统电力地理信息系统(GI

2、S)在存储能力、分析能力和扩展能力上的不足，将云计算技术应用到电力GIS领域，提出利用Hadoop云平台对电力GIS数据进行高效存储和管理的方案。首先对电力GIS各类数据的特点进行了分析，提出了关系型数据库与非关系型数据库相结合的数据存储策略，并在此基础上设计了基于Hadoop的电力GIS数据管理整体架构、相应的数据模型以及基于MapReduce的数据并行查询分析方法。最后，在单机和集群的环境下，对空间分析与运行数据查询的性能进行了对比与验证。实验结果表明，在数据量达到一定规模时，该方案优势明显，数据分析与查询的平均时间缩短30％以上，具有较高的效率和良好

3、的扩展性。关键词：云计算；Hadoop；电力地理信息系统(GIS)；存储模型；并行处理中图分类号：TP391文献标志码：ADatamanagementbasedonHadoopforpowergeographicinformationsystemLINBiying，WANGYanping’(SchoolofControlandComputerEngineering，NonhChinaElectricPowerUnivemity,Beijing102206，China)Abstract：Inconsiderationoftheproblemthatthetr

4、aditionalpowerGeographicInformationSystem(GIS)hasinabilitiesinstorage，computingandscalability，cloudcomputingwasappliedintothepowerGISfieldandasolutionwhichusedHadoopcloudplatformtostoreandmanagethemassiveGISdatawasproposed．AfteranalyzingthecharacteristicsofthepowerGISdata，adatasto

5、ragestrategywasproposedwhichcombinedrelationaldatabasewithnon—relationaldatabase．Basedonthisstrategy，thearchitectureofpowerGISmanagementbasedonHadoopwaspresented，thedatamodelandparalleldataanalysisbasedonMapReduceweredesigned．Finally，aquantityofexperimentswerecarriedoutincludingsp

6、atialanalysisandoperationdataqueriesinsingle—machineandclusterenvironmenttocompareandvalidatetheperformance．Theexperimentalresultsshowthattheaveragetimeofdataanalysisandquerydeclinesover30％afterreachingcertainamountofdata．Theproposedschemehasmoreobviousadvantagestodealwithlarge—sc

7、aledataandhashighefficiencyandgoodfeasibility．Keywords：cloudcomputing；Hadoop；powerGeographicInformationSystem(GIS)；storagemodel；parallelcomputing间的协作和信息共享；另一方面能满足电力GIS高容量存0引言储和高效访问需求，极大提高电力GIS实时控制和高级分析电力地理信息系统(GeographicInformationSystem，GIS)的能力。具有强大的空间展现能力和管理分析能力，是保证电力设备目前云计算在国内电

8、力行业中的应用研究还处于探索阶安全运行、实现海量设备可视化管理的综