基于大数据技术的电费风险分析

《基于大数据技术的电费风险分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于大数据技术的电费风险分析　　摘要：近年来大数据技术迅猛发展，在电商、金融等行业取得了巨大成效。国家电网公司十三五规划目标，广泛应用“大云物移”技术，推动公司管理变革和运营模式创新，推动电网创新发展高效运作。国网河北省电力公司基于大数据技术对电费风险展开分析，对数据来源进行了梳理，并探讨了大数据的采集、存储、处理及分析展示的技术。通过应用场景分析直观展现电费回收情况，发现电费风险问题。　　关键词：电费回收电费风险大数据数据集市聚类　　中图分类号：TP39文献标识码：A文章编号：1674-098X（2017）03（a）-

2、0121-02　　国家电网公司十三五规划目标，广泛应用“大云物移”技术，推动公司管理变革和运营模式创新，推动电网创新发展高效运作。随着智能电网[1-3]的深入发展，电力大数据已经成为学术研究和企业发展所关注的热点领域，国内外大学、研究机构、IT企业、电力公司均已开展了相关方面的研究应用。　　目前公司精细化管理需要对电费情况进行实时监控，及时发现存在的风险点，调整降低风险，提升企业收益。当前主要采取人工从系统导出数据，工作量大，工作效率低下，并且由于传统系统数据量庞大，经常出现无法导出数据等问题，给日常工作带来很大不便。　

3、　1电费风险数据来源　　电费作为电力公司收益的直观数据，体现了公司经营管理的成果。如何有效地降低电费风险，提升电费回收率，成为当前公司经营管理工作的重点。电费风险来源于电费回收情况，电费回收由发行电费、实收电费、预收电费、欠费电费等几部分组成。日常工作中实收电费由预收结转、欠费缴费等几类业务情况产生，流转较为复杂，因此，此次主要从发行电费、预收电费和欠费电费3个方面入手进行分析。　　1.1用?粜畔?　　用户分为考核用户、高压用户、低压非居民用户和低压居民四大类。此次主要针对存在电费回收风险较大的用户进行分析，低压居民用户

4、大多为预付费，且管理比较系统化，风险相对较低，此次暂不分析，主要分析剩下的三大类用户。　　1.2电费信息　　电费风险主要通过电费回收情况分析呈现，电费回收主要从发行电费、预收电费和欠费电费几方面体现，所以需要提供用户每月产生的发行电费、预收以及欠费电费数据信息。　　1.3供电单位　　通过分析不同供电单位的电费回收情况，对比各单位的电费回收风险，说明发现供电单位对电费回收风险有一定影响，可以有效借鉴较好的工作经验，制定整改办法，降低供电单位的电费回收风险。　　1.4行业类别　　通过分析用户在不同行业下的电费回收情况，说明不

5、同行业对电费回收风险的影响程度，一定程度上反映了用户行业管理上的不足之处，从而强化管控，降低电费风险，提升电费回收率。　　1.5电压等级　　通过对不同电压等级用户的电费情况分析，发现不同电压等级用户的回收情况有差异，说明电压等级对电费风险有影响。可以从电压负荷、容量、稳定性等各方面分析发现问题，降低电费风险。　　2电费风险关键技术　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容

6、错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。　　该平台基于Hadoop架构搭建实现，沿用国网大数据平台的数据仓库工具Hive。图1为平台技术架构。　　2.1数据采集　　系统采用Kafka，Sqoop两种技术来实现电费、用户以及所需信息的数据采集整合，为业务场景分析提供数据支撑。　　Kafka是一种高吞吐量的分布式发布订阅消息系统。它的目的是通过Hadoop的并行加载机制

7、来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。因此，通过Kafka技术实现应收电费及欠费电费数据的实时采集。　　Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。它类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。因此，通过Sqoop技术实现用户、预收电费等信息的离线数据采集整合。　　2.2数据存储　　数据存储使用数据仓库Hive和Pos

8、tgresql数据库联合实现。发挥各自优势，为场景分析提供数据保障。　　Hive用来存放数据采集的第一手数据，将采集到的源端数据存储至HDFS文件系统中。　　Postgresql作为数据集，用来存放从数据仓库Hive中抽取到的数据，并且按照国网CIM模型的标准域存储，用来存放业务场景分析所需的数据。它通过Kettle