基于Hadoop的电力大数据技术体系研究.pdf

《基于Hadoop的电力大数据技术体系研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、16电力与能源第36卷第1期2015年2月基于Hadoop的电力大数据技术体系研究岳阳，张晓佳，高一丹(国网苏州供电公司，江苏苏卅I215004)摘要：电力系统每时每刻都在产生海量规模、种类繁多的电力数据，如何高效低成本的存储和处理它们并进行有效开发利用十分关键。对现有的电力数据进行了归类梳理，分析电力大数据的特点、来源及使用现状。介绍了以Hadoop技术为核心的大数据技术体系，给出了电力大数据技术架构，并重点分析了大数据在数据整合、数据存储和数据处理等方面的关键技术。探讨了大数据技术在电力领域的几种典型应用场景，包括新能源管理、负荷预测、检修策略优化和供电服务改善等方面。关键词：电力

2、大数据；hadoop；分布式存储；并行计算作者简介：岳阳，从事电力企业设备运行管理工作。中图分类号：TM769文献标志码：A文章编号：2095～1256(2O15)O1一O016—05TechnologySystemofElectricPowerBigDataBasedonHadoopYUEYang，ZHANGXiao—iia，GA0Yi—dan(SuzhouPowerSupplyCompany．Suzhou215004．China)Abstract：Powersystemsgeneratemassivecomplicatedataallthetime．Itbecomesmorecri

3、ticaltOstoreandprocessthebigdataefficiently，andtOmakeeffectiveutilization．Firstly，thispaperclassifiestheexistingpow—erdata，includingthecharacteristics，sourcesandapplicationstatus．Then，itintroducestheHadoop～basedbigdatatechnologysystemandformulatesamainarchitecture．Severalkeytechnologiesareanalyz

4、ed，includingdatacollecting，storingandprocessing．Finally，sometypicalapplicationsofbigdatatechnologyinpowersee—torarediscussed，suchasnewenergymanagement，loadforecasting，maintenancestrategyoptimizationandpowersupplyserviceimprovement．Keywords：electricpowerbigdata；hadoop；distributedstorage；parallelc

5、omputing目前，国外已有先行者尝试将大数据技术应导致传统算法失效。用到电力行业。美国加州大学研究者利用用户用为此，加快推进大数据技术在电力领域的应电信息和地理位置等数据制作电力地图，展示每用十分必要。本文结合大数据最新技术与实际应个街区实时用电量。德国的电力公司利用大数据用需求，对电力行业所需的大数据技术体系进行预测客户的用电习惯和电力需求，以此制定成本了系统性研究，给出了电力大数据技术架构，并对最低的购电计划J。大数据存储和大数据处理等核心技术进行了详细随着智能电网的大规模建设，智能电表、智能分析。插座等终端部署，智能变电站、电动汽车充换电站l电力大数据等项目投运以及风能、光伏

6、等间歇性能源的接人，电力行业的信息时代正处于关键转折点，电网产1．1电力大数据的定义及特点生的数据将更多、更复杂。数据规模每年将以指根据麦肯锡的描述，大数据是指无法在一定数级增长，且数据中包含大量的半结构化和非结时间内用传统数据库软件工具对其内容进行抓构化信息。与此同时，智能电网要求做到对电网取、管理和处理的数据集合_3]。大数据的显著特故障的快速响应、短期负荷的准确预测以及数据征是数据规模大(Volume)、数据类型多(Varie—处理的实时性，这些关键问题很难再用传统技术ty)、处理速度快(Velocity)、价值密度低(Val—解决J。一方面，数据规模的庞大导致原有系统ue)l2

7、J，简称4V。难以存储和管理；另一方面，大数据的复杂关联性电力大数据一般是指通过传感器、智能设备、岳阳，等：基于Hadoop的电力大数据技术体系研究17视频监控设备、音频通信设备、移动终端等各种信tem，简称PMS)，主要包括设备台账、工作票、家息获取渠道收集到的，海量的，结构化、半结构化、族缺陷、不良工况、检修试验、带电检测、在线监测非结构化的，且相互间存在关联关系的业务数据等数据。目前这些数据的价值尚未被挖掘，需要集合_5_。深度分析以实现