资源描述：
《基于mongodb的前置通信平台大数据存储机制》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第39卷第11期电网技术Vol.39No.112015年11月PowerSystemTechnologyNov.2015文章编号：1000-3673（2015）11-3176-06中图分类号：TM73文献标志码：A学科代码：470·40基于MongoDB的前置通信平台大数据存储机制12221史玉良，王相伟，梁波，朱伟义，吕梁（1．山东大学计算机科学与技术学院，山东省济南市250101；2．国网山东省电力公司，山东省济南市250001）BigDataStorageMechanismBasedonMongoDBinFro
2、ntCommunicationPlatform12221SHIYuliang,WANGXiangwei,LIANGBo,ZHUWeiyi,LÜLiang(1.CollegeofComputerScienceandTechnology,ShandongUniversity,Ji’nan250101,ShandongProvince,China;2.StateGridShandongElectricPowerCompany,Ji’nan250001,ShandongProvince,China)ABSTRACT:Tode
3、alwithchallengesoflargeelectricity0引言informationdatastorageandprocessing,acloudstorage电力数据的采集和存储是支撑智能电网的基architecturemixingrelationaldatabasewithMongoDB[1]础，随着电力用户数量和终端数量的增大，用电databaseisbuilt.Accordingtodemandsofelectricitydata[2]storagecapacityandrate,largedat
4、astoragemechanismfor数据成为典型的行业大数据。用电数据具备大数frontcommunicationplatformbasedonMongoDBis[3]据的几个重要特征，具体表现在：1）数据规模巨presented,andkeytechnologyandoptimizationmechanism大。以山东电网为例，2014年采集系统源码数据日areanalyzedinfouraspects,i.e.datastorage,availability,增长量达到900GB。2）数据类型多样。用电数据b
5、alancingdistributionandread/writesplitting.For包括档案数据、原始数据帧、业务数据以及统计分shortcomingsinMongoDBdataequilibriumstrategyandload析数据等结构化、半结构化以及非结构化数据，各differencebetweendatanodes,equilibriumisoptimizedtorealizedynamicequilibriumofdatavolumeandload.类数据的存储需求存在较大差异。用电信息采集系Pr
6、acticalapplicationconfirmsthatbigdatastorage统建设面临着大规模数据存储的挑战性问题，即如mechanismbasedonMongoDBappliedinfront何针对不同规模、类型、用途的数据选取合适的存communicationplatformhasgoodfeasibilityandhigh储模型。concurrentreadandwriteperformance.在大数据时代背景下，根据Brewer的一致性、KEYWORDS:powerelectricenergyd
7、ataacquiresystem;可用性和分区容错性(consistency，availability，cloudstorage;MongoDB[4]partition-tolerance，CAP)理论，传统的并行数据摘要：为应对用电信息大数据存储和处理的挑战，构建了关库追求数据一致性和系统可用性，限制了其扩展能系数据库与MongoDB数据库混合存储的云存储架构。首先，力。大数据管理需求催生了以NoSQL(非关系型数根据用电数据存储容量和速率的需求，提出基于MongoDB据库)为代表的大数据存储技术，并且凭借高效的读
8、的前置通信平台大数据存储机制，并从数据存储、可用性、均衡策略和读写分离4个方面分析了其中的关键技术和优写效率、灵活支持复杂查询、负载均衡的自适应性化机制。然后，针对目前MongoDB数据均衡策略的不足，等突出优势，在多个领域发挥了积极作用。结合数据节点负载的差异，对均衡策略进行优化，实现了数在交通领域，文献[5]基于HBase集群构建了据量和负
