学习hadoop的高频电力负荷监测数据存储研究

《学习hadoop的高频电力负荷监测数据存储研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、DOI：10．3969／j．issn．1009-9492．2014．03．010基于Hadoop的高频电力负荷监测数据存储研究黄骏(广东电网公司阳江供电局，广东阳江529500)摘要：电力负荷数据采集频率已从分钟级低频数据转向秒级甚至毫秒级的高频数据，数据存储量级星数百倍增长，对数据的存储及查询的效率要求更高。为处理这些海量数据，设计了基于Hado叩技术的负荷数据存储系统，并验证了该系统具备分布式存储及实时查询的优势，适合智能电网环境下高频负荷数据的存储。关键词：Hadoop；高频电力负荷；数据存储中图分类号：TP274文献标识码：A文章编号：1

2、009—9492(2014)03—0033一O3ResearchontheDataStorageSystem0fHigh—FrequencyPowerLoadBasedonHadoopTechnologyHUANGJun(YangjiangPowerSupplyBureau，Yangjiang529500，China)Abstract：Electricloaddataacquisitionfrequencyshiftfromtheminutelevellowfrequencydatainsecondsorevenmillisecondsofhig

3、hfrequencydata，wastheorderofseveralhundredtimesthedatastoragegrowth，datastorageandqueryefficiencyrequirementshigher．Todealwiththesemassivedata，designdatastoragesystembasedonHadooptechnologies，andverifythatthesystemhastheadvantagesofdistributedstorageandreal-timequeries，suitab

4、leforhighfrequencyloaddatastoredunderthesmartdenvironment．Keywords：Hadoop；high-frequencypowerload；datastorage0引言成熟的软件框架。Hadoop通常会保存和维护多个随着智能电网技术的大力推进，智能电网环数据副本，因为它考虑到计算和存储过程中可能境下电力行业数据量以几何形式激增。电力负荷会出现一些故障，以便当故障出现时能够对出错数据已从传统的分钟级低频数据转向了以秒甚至的地方重新进行计算处理，从而具备纠错功能。毫秒级采集的高频数据，对数据存储

5、的可靠性和HDFS(HadoopDistributedFileSystem)作为Ha—实时性要求更高，原有存储系统已远远不能满足doop上的一个分布式文件系统，能够并行的进行海量数据的要求。国内现有的电力信息系统建设文件操作，从而可以加快任务处理速度。Hadoop大多采用大型服务器，存储部分采用磁盘阵列，的计算具有一定的扩展性，能够处理PB级数数据库采用关系型数据库，导致系统扩展性低、据，但其扩展性的强弱受部署Hadoop的计算机群成本高、查询和计算效率较低，难以适应智能电的规模的影响较大，Hadoop如今已广泛应用于搜网对高频电力负荷数据可靠性

6、和实时性的要求。索引擎、数据挖掘和生物计算等领域u之。随着MapReduce编程思想的提出，它在互联本文针对电力负荷数据的特点，设计并实现网Web应用中成为研究热点。Hadoop作为MapRe．基于Hadoop的高频电力负荷数据存储系统。duce的一个开源实现，由于成功的借鉴了Big—1基于Hadoop的电力高频负荷数据存储系Table和MapReduce并行算法等技术，使得它能够统设计对大规模海量数据进行分布式处理，已成为一个Hadoop文件系统(HDFS)是适合存储电力高频收稿日期：2014—01—19函匿Ⅲ至二]薹誓与开发负荷数据的存储系统

7、，它作为一个分布式文件系署到大范围的机器上也非常容易。当部署到大范统运行在普通的硬件上。由于HDFS的高容错围的机器上时，通常会有一个机器专门用来管理性，可以在低成本的硬件之上部署大数据集的应和运行NameNode，机群中剩下的每个机器则运行用程序。HDFS的数据上传流程如图1所示。一个数据节点实例。值得注意的是HDFS不允许在一个机器上运行多个数据节点的实例，然而在J上传文件到HDFSJ实际的部署过程中也不会出现这种情况。上述这—————f————一创建配置，读取上传种单NameNode的机群模式可以极大地简单化系统文件形成文件数组的复杂度。1

8、．1Hadoop集群搭建通过虚拟化技术，在安装Centos操作系统的PC机上，搭建内网环境(IP段：192．168．0．0)，在建建立立