智能电网大数据处理技术现状与挑战

《智能电网大数据处理技术现状与挑战》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、智能电网大数据处理技术现状与挑战摘要：大数据是客观现实的一种外在表现，在保障智能电网的安全稳定运行方面起到了重要的作用，阐述了目前智能电网中大数据处理技术的应用现状，指出了智能电网大数据处理中存在的问题，为智能电网大数据面向应用的发展指明了方向。关键词：智能电网；大数据处理；现状；挑战1引言随着电网信息化与智能化程度的不断提升，由电网运行和电网维修所产生的数量也呈现井喷式的增长，使得智能电网的管理进入到了大数据时代，大数据时代对数据的存储以及数据处理提出了很高的要求。由于具有较大的数据量因而对于

2、处理的效率有较高的要求，本文对目前智能电网大数据处理技术的现状进行了综述，研究了目前制约大数据应用的瓶颈问题，从传输、存储、集成、可靠性以及可视性等方面来具体阐述了智能电网大数据处理技术的现状与所面临的挑战。2智能电网中大数据处理技术现状2.1并行数据库关系数据库在结构化数据的存储、查询以及处理等方面具有广泛的应用，采用关系数据库可以灵活快捷的对数据进行查询分析以及逻辑操作等。可以对业务事项进行高效的处理。能承受一定数量用户同时对数据库的访问。具有较为安全的数据保密机制。数据库结构化查询语言能够

3、对实现严谨的对数据的查询，能够实现高效率的数据分析，能脱离对程序的依赖性而独立运行等一系列的优势，因而关系数据库得到了非常广泛的应用。但是近些年随着电网信息化程度的不断提升积累了大量的数据，关系数据库的发展程度已经远远跟不上电网信息化发展的速度，尤其是在非结构化数据的存储上存在的问题，使得很多类型的数据，包括地理信息数据，以及高清的视频和图像以及音频数据等，都无法实现在该数据库中的存储，因而传统的数据存储的方式随着数据的多样化而面临着严峻的挑战。2.2云计算技术云计算平台为大数据的存储以及处理提

4、供了硬件资源，不仅能够存储海量的数据还能够为通过并行处理的方式极大的提升数据处理的效率，在智能电网中电力设备为保证电网的安全正常运行提供了大量的数据基础。电网中实时的数据不仅种类繁多，且数据量庞大，具有较高的实时性和可靠性，目前云计算技术中海量数据的处理仍然处在起步阶段，能较好保证监控程序的延展和可靠性，但是目前在安全以及性能方面还存在问题，需要加以解决。2.3云计算在智能电网中的应用在智能电网中产生数据量最大的环节是各种电力设备的状态数据积累。状态监测数据包括实时监测的状态数据包括数字、视频等

5、等，还包括设备的基本信息、实验数据以及缺陷记录等，数据量较大，且对可靠性要求较高，实时性要求较高。目前国外某些国家已经将云计算应用于海量数据的存储和计算，且已经开发出目前已经在应用的系统。在电力系统中有些用户需要对数据进行实时查询，进而诞生了用于实时数据处理的智能电网云计算模型，该模型对于处理智能电网中的海量的流式数据具有优势，且在此基础上已经开发出了实时数据的测量与监测系统。Cloudera公司承担了以Hadoop为载体的智能电网监测系统项目，帮助美国电网成功处理了上百TB的数据，Hadoop

6、平台的可靠性以及廉价性得到了充分的体现；此外改项目组在此基础上还开发了superPDC,且将开项目的源代码进行开源，此项举措非常有利于推动大规模数据的处理研宄工作，研宄人员可以不用开发底层的应用程序，直接调用接口来获取最基本的应用。在日本，Kyushu电力公司同样使用Hadoop平台对海量的电力系统的消费数据进行了分析，在该平台的基础上开发了批量数据的处理软件，极大的提高了数据处理的效率和速度。通过对智能电网中云计算平台的应用现状研宄，可以看出目前云计算平台的技术已经能够满足智能电网在数据存储以

7、及实时处理等方面的需求，但是实时性和安全性有待进行进一步的研宄。3智能电网大数据处理技术面临的挑战3.1大数据传输及存储技术电网的信息化与智能化程度不断的提升使得数据累积量越来越大给大数据的处理和分析带来很大的困难，给智能电网数据的存储、电网设备的监控以及数据的分析等环节造成了很大的负担。其中涉及到作为严峻的挑战就是大数据的存储以及大数据的传输问题。随着电网智能化程度的不断提高，各种类型传感器所积累的非结构化数据在智能电网中所占的比重会越来越大，如何将此类非结构数据转化为结构数据进行存储，是目前

8、解决智能电网数据的存储以及传输的有效措施之一。3.2数据处理的时效性技术大数据时代的关键在于数据处理的速度。在硬件与软件资源一定的情况下数据处理的时间与数据处理的规模是成正比的，数据的规模越大数据处理的时间就越长。传统的数据存储的方案只能存储一定量的数据，难以处理大批量的数据。随着智能电网大数据应用的深入挖掘，实时数据的处理会有效的在智能电网的各个环节得到广泛的应用，实时数据处理目前所面临最大的挑战就是数据处理的时效性问题，通过提高硬件性能，优化软件算法的方式是提高数据处理时效性的两个重要方面。