基于电力光纤入户的大数据应用

《基于电力光纤入户的大数据应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于电力光纤入户的大数据应用　　伴随着社会经济和信息技术的快速发展，电力光纤到户的发展为电力监控设备主站系统或用户对实时信息的监测查询成为现实，本文基于电力光纤入户获取的大量设备终端实时数据信息，结合电网公司内部系统相关历史存储数据，运用大数据分析计算技术，构建大数据分析服务应用。　　【关键词】电力光纤光纤入户大数据应用　　电力光纤到户是指在使用低压通信的同时接入网中使用光纤复合低压电缆，将光纤随低压电力线敷设，实现电力与通信双业务，配合开展智能电网发展的重要技术。　　国家发展改革委、国家能源局下发《关于促进智能电网发展的指导意见》，要求加快智能电网的建设，开

2、展智能计量技术应用，完善多元化计量模式和互动功能。推动智能电网建设，电力光纤到户是关键，电力光纤到户搭建了小区公共服务平台，为智能电网配用电侧的信息采集、智能互动用电等业务应用提供了有力支持，同时利用富余带宽为社区公共服务建设提供基础。电力光纤到户将获取配网线路的监控设备、用户端智能电表、家庭智能用电设备等大量实时数据，特别是智能电表上的电流、电压及每15分钟的冻结表底电量数据及时上传至主站系统，实现信息的实时采集、监测，并结合电力企业的内部营销业务域、生产业务域及计量自动化业务域数据，应用大数据技术构建智能分析服务应用，将优化电网的运行和管控，提高供电可靠性

3、，提升客户服务水平。　　1现状分析　　面对新形势新挑战，我国提出了加快建设以特高压电网为骨干网架，各级电网协调发展，形成以信息化、自动化、互动化为特征的智能电网，努力实现我国传统电网到现代电网的升级和跨越。　　国家电网已开展电力光纤入户智能小区/楼宇建设，基本通过在低压通信接入网中采用光纤复合低压电缆（OPLC），将光纤随低压电力线铺设。光纤到户主要集中在新小区，老旧小区智能电网的需求大多依靠电力线宽带载波实现。南方电网在电力光纤入户上已做好顶层设计，并开展相关课题研究和示范应用，按照规划预计到2020年，全网电表自动抄表率达到95%。　　通过电力光纤到户，可

4、发挥光纤信息通道功能，实现居民家里用水、用电、用气等信息的快速采集，为电力用户用电情况查询、业务办理及用电分析服务等基本服务功能，但目前基于大数据技术的光纤入户应用基本处于探索研究阶段，本文将根据云南电网有限责任公司的信息化现状对基于光纤入户的大数据技术服务分析应用进行研究探索，以构建大数据的光纤入户信息分析服务应用平台，提供电网运营管控和客户服务功能应用。　　2技术架构设计　　光纤入户信息的大数据技术应用架构设计分为数据采集层、数据存储层、数据分析层及服务应用层构成，如图1信息服务分析应用总体设计所示。　　信息服务分析应用总体设计主要针对电力行业的营销数据、

5、计量自动化数据、生产数据及现场设备数据的不同数据形式进行集成，包括关系型、非关系型及流数据等，通过技术组件MapReduce、Spark、Storm等大数据技术，并结合聚类（距离算法、kmeans算法）和关联（逻辑树、神经网络）等算法实现信息的分析，为应用提供实时信息查询、设备状态监测及用电分析服务等功能应用。　　2.1离线数据集成实现　　2.1.1集成架构设计　　离线数据主要包含各子系统存量数据及增量数据，数据集成主要通过ETL实现跨系统、异构数据集成。跨业务系统的异构数据源之间数据差异性大，不仅存在结构化数据，而且存在大量半结构数据及非结构数据；同时，异构

6、数据的ETL操作要求数据在抽取和加载的过程中进行远程传输，本方案针对离线跨系统异构数据采用基于Kettle构建ETL集成模型。对分散在各业务系统中的?F有数据进行抽取、转换、清洗和加载。如图2离线数据集成架构所示。　　数据抽取过程包括数据剖析、增量数据捕获以及数据抽取三个环节。数据剖析是对源数据中数据结构及其内容的统计分析；增量数据捕获是实现增量数据抽取的解决方案；数据获取则是对源数据的获取。　　2.1.2离线数据计算　　针对系统应用到的离线数据计算框架主要采用MapReduce及Spark组件。离线批量处理主要针对营销客户用电相关数据和计量自动化设备监测历史

7、数据，由于其数据的有序性和准确性相对较高，能充分挖掘用户用电行为习惯及设备运行特征，使数据分析挖掘价值更贴近实际，为决策等提供有效的数据依据。　　MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算，适用于分析如电力企业的几年营销业务域、生产业务域或计量自动化等大量历史存储数据，其技术实现原理如图3所示。　　Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需

8、要读写HDFS，因此Spark能更好地