电力大数据关键技术与应用研究V1.1-精简版-20140923

《电力大数据关键技术与应用研究V1.1-精简版-20140923》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

电力大数据关键技术及应用研究精简版南瑞埃森哲 2大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 大规模数据上多维索引和即时查询独特的并发控制机制完善的多数据兼容和应用平滑迁移工具独特的运行时优化支持OracleSQL的自动化映射平台功能3 核心技术创新点提高原有存储过程型应用向云平台的迁移效率，降低实现成本动态选择SQL在Hadoop环境下的最优并行方案根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂分析语句的运行性能基于查询重写的SQL到Hadoop映射技术I/O敏感代价模型驱动的并行方案优选技术集群资源感知的自适应分区技术基于混合多维索引的大数据查询技术基于组合存储的并行读写优化技术提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、Insert、Delete等语句的运行效率优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务的综合执行效率为准实时的多数据源之间的数据一致性保障提供技术支撑根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用基于改进多版本机制的DML增强技术基于装箱模型的并发计算任务工作流的智能规划技术基于交叉Hash校验的数据一致性保障技术负载敏感的数据ETL并发度按需调节技术开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作。4 性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条记录，选取了三个计算和四个查询任务场景，对比大数据平台和Oracle关系数据库处理性能情况。三个计算任务涉及表和记录数：1)公变数据完整率之今日电量计算（2.47亿）2）低压数据完整率计算（116.1亿）3)低压用户电量计算（143.7亿）上报公变数据主表333390公变用户计量点228991停电统计表24151795上报公变电量数据153193115公变终端测量点250975终端资产2600453统计公变数据完整率明细66257003公变任务表112821系统单位代码1320数据完整率明细临时表9071统计终端用户表838885低压任务表1903834低压测量点表17954341统计低压数据完整率4134600916低压表记表18476053低压用户表16224247系统单位代码1320上报低压数据主表22590221上报低压电量数据表7374570544停电统计表24151795终端资产2600453上报低压电量数据表7374570544上报低压数据主表22590221低压测量点表17954341低压用户表16224247低压表记表18476053终端资产2600453统计低压日电量6906656585低压测量点表17954341低压历史数据异常615803低压数据异常表854964性能验证5 1)采集覆盖情况明细2）采集数据质量检查3)批量抄表数据查询4)台区线损分析明细四个查询任务涉及表和记录数：1.57亿条台区线损统计62931052P码2645单位级别关系1351G_TG634564单位级别关系1351用户280480低压数据46741659终端资产2550507上报任务数据主表910439上报数据完整率明细69259714P码2645用户数280357用户明细表225288终端资产2547680上报任务数据主表910106用户明细表224140单位级别关系1351终端资产2315773P码2630用户数269803单位代码1320性能验证6 低压用户电量计算：191min12min（实际运行23分钟）Oracle平台大数据平台143.7亿12min191min低压用户电量计算7 采集质量检查明细查询：5.547s0.281sOracle平台大数据平台5.547s281ms采集质量检查明细查询8 计算任务验证对比大数据9 10大数据查询任务验证对比 11大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 背景12短期电力负荷预测主要是指预报未来几小时、1天至几天的电力负荷，短期负荷预测不但为电力系统的安全、经济运行提供保障，也是市场环境下编排调度计划、供电计划、交易计划的基础。短期负荷预测精度已列为电网公司工作的一项重要考核指标。2009年，国家电网公司组织成立工作小组，制订了《电网短期负荷预测技术规范》，对短期负荷预测各项流程提出了基本技术要求与推荐技术方法。随着电力生产和消费日益市场化，对负荷预测的准确性、实时性、可靠性和智能性提出了更高的要求，因短期负荷预测作用的大小主要取决于预测精度，因此如何提高预测精度是目前研究短期负荷预测理论和方法的重点。 存在问题13分析层级不够细致电网负荷是由众多用户负荷构成，不同用户的负荷受自身行业属性和生产特点影响，负荷规律也是千差万别，从总量上分析负荷变化规律忽略了用户的用电规律，因此分析结果必然存在一定的偏颇，更加无法精确定位负荷波动的源头：用户。模型的应用不够精准由于电网用户众多，因此负荷的影响因素太多、非线性极强，在总量负荷无法把握负荷变化内在规律前提下，对各种预测模型的使用必然会带来很大的局限性，而且目前没有哪一种模型能够很好的诠释所有日期的负荷走势。相关因素的考虑不够全面电网负荷受计划因素影响大，现有的负荷预测模型并未考虑地方电厂等因素影响，由于此部分信息多数是计划性的，可以部分或全部量化，而此类影响并未考虑到负荷预测的整体流程中，将会导致负荷预测的精度偏低。 数据支撑14供电公司变电站馈线公变终端表计智能电表用电信息采集的数据结构如下图所示，负荷分为不同层级，层级之间是包涵关系。最底层是用户负荷，统调负荷=∑用户负荷+系统网损，此种数据架构为实现基于用户负荷的统调负荷预测提供了基础。即用户，本方案所需的主体数据即统调负荷，在通过下层累加时需考虑网损，但由于网损较小且固定，可通过历史网损统计得来累加 整体技术方案15数据预处理负荷分析负荷预测误差统计业务层功能层批量修正异常数据辨识负荷特性分析负荷聚类用户分类专家系统法用户算法库自动批量预测误差统计误差来源数据存储数据查询负荷挖掘本技术方案是基于传统短期预测理论与成果基础上提出，其中负荷分析重点开展负荷聚类和用户分类分析；负荷预测中将负荷挖掘和专家系统与预测模型相结合；误差统计中开展误差来源分析。误差分析的结论将输送到负荷分析中以形成闭环的反馈。已有技术创新技术 负荷聚类分析16稳定模式波动模式用户负荷数据之间存在关联性和相似性，用户的用电数据中隐藏着用户的用电行为习惯，对这些用电数据进行挖掘并研究用户类型，可以帮助电网了解用户的个性化，并为预测模型的选择提供数据支撑。根据负荷行业属性，将用户划分为：大工业、一般工商业、居民等类型；根据负荷波动特点，将用户划分为：稳定模式、波动模式、随机变化模式等类型。示例 预测步骤17用户1用户2用户N…预测模型库时间序列线性回归相关因素智能算法并行计算用户1预测结果数据挖掘分类技术聚类技术关联分析…统调负荷预测结果用户2预测结果用户N预测结果…累加网损 总结18电力系统负荷预测已经有多年的发展历史，目前短期负荷预测已经成为电力调度部门每日例行工作之一。负荷预测精度的高低对电网的安全、稳定运行及供电质量都有着直接的影响。在短期负荷预测当中，从用户层面确定统调负荷的变化是彻底改善预测精度的根本方法，也是响应调度精益化管理要求的体现，是实现调度部门全面掌握负荷构成的重要途径。基于用采数据的短期负荷预测，在负荷预测领域引入大数据技术的创新解决思路，融合了聚类分析、数据挖掘、专家系统法等前沿技术，给出了具体实现方案和流程，将有效的提高短期负荷预测的精度。 19大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 供电可靠性研究目的及解决思路20由供电可靠率的公式可知，用户平均停电时间是供电可靠性的关键变量；对用户平均停电时间进行层层分解，分析引起停电的各业务流程的主要因素；基于历史数据计算各因素的影响程度，通过数据挖掘和量化计算的方法，进行深入分析，查找系统中可靠性的薄弱环节，提出有效的改进措施。供电可靠性研究的目的：更好的指导未来时间内电网的规划、设计、运行和维修。找出电网中可靠性薄弱环节，寻求提高系统可靠性的途径，降低停电频率、缩小停电范围、减小停电成本。主要可靠性指标与计算公式供电可靠性的全面解决思路 可靠性业务指标间的关联分析关联分析是指如果两个或多个事物之间存在一定的关联，那么其中一个事物就能通过其他事物进行预测。它的目的是为了挖掘隐藏在数据间的相互关系。从电网规模、电网结构适宜性、装备水平、电网运行方式、运检绩效、作业方式和需求侧管理等二十个方面选取代表性指标，运用关联分析法求出对供电可靠性影响最显著的数个指标。21连接数指标指标73主干线分段故障平均修复时间70绝缘化水平预安排停电时间45馈线平均用户数故障定位时间23电网容载比故障停电次数成果展示故障平均修复时间预安排停电时间故障停电次数故障定位时间主干线分段线路绝缘化水平馈线平均用户数电网容载比平均供电半径负控限电影响电量高低关联度 输入关键业务指标:电网容载比线路跳闸率配网自动化水平……其他基础数据:业务指标波动值参数设置……输出分析模型约束条件算法神经网络多元回归其他模型供电可靠率约束用户平均停电时间约束用户平均停电次数约束可靠性评估结果可靠性预测结果构建供电可靠性分析模型，对关键业务指标进行分析，形成决策依据管理策略与建议22 通过可靠性分析，对管理和技术层面问题的解决提供辅助决策支持23管理相关问题技术相关问题高低高低敏感性严重性人为破坏软件控制系统受攻击自然灾害长期投资未知风险技术人员缺乏/老龄化环保相关管制可再生能源规定缺乏可靠性操作强制执行标准树木生长引起停电可靠性分析工具缺乏系统保护检修天然气或其他能源供应紧张电源充裕度缺乏保护性维护基础设施老化重载/过载高低高低敏感性严重性通过对影响供电可靠性指标的相关因素进行分析，可以获得对供电可靠性指标较敏感的相关特征量，这一信息对引导供电企业制定提高可靠性的具体措施有重要的参考价值。 24大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 造成影响存在问题1.数据多样性：类型相对单一，未包括SCADA系统、调度运行管理系统（OMS）、生产管理信息系统（PMS）、电网地理信息系统（GIS）、营销管理信息系统（包括95598）、用电信息采集系统、配电生产抢修平台等多元化数据。2.数据处理速度：随着数据容量的急速上涨，导致现有的数据分析模式运行起来相对缓慢，无法及时有效得出分析结果1.不能全面真实反映当地低电压真实分布情况2.不能准确确定低电压台区发生位置3.无法进行未来24小时预警导致目前低电压分析存在问题及造成影响 方案需求利用大数据技术进行低电压监测与分析，是基于电网资源对象，利用调度自动化、用电信息采集、客户报修等数据，采用数据挖掘、并行计算、决策树、可视化展现等技术，实现电网资源展现、低电压台区分布与特征分析、制定治理措施和改进建议等功能，服务于中低压电网运行抢修和配电网规划。具体对于大数据技术的需求如下：分析挖掘―大数据技术通过回归分析、相关分析、决策树分析等数据挖掘技术进行建模，为数据的多维度分析应用提供支撑。数据计算层―大数据技术能够融合成熟的基础计算引擎构建配电网状态数据挖掘的数据支撑服务，为数据的分析挖掘提供充要条件。数据管理层―大数据技术能够进行模型管理、服务管理、质量管理。存储计算―HADOOP架构的分布式存储和计算提供海量数据的存储读取需求数据源多元化―大数据技术能够处理多类型数据，为接口、采集和业务分析提供必要的基础条件可视化展示―在大数据平台系统的支撑下，对数据进行分析并对结果进行精准展示。 实现目标解决低电压问题，是提高供电服务的具体体现，也是企业节能降损的内在要求，是关系到供电企业经营的大事。由于造成低电压的原因错综复杂，需要根据不同情况，采取具体问题具体分析的方法，同时需要兼顾成本效益原则，进而从改造和规划的角度打造新型坚强配电网。利用大数据技术进行低电压监测与分析，可以实现以下目标：通过大数据技术准确查找低电压台区利用大数据技术，结合现场勘察，分析低电压台区的特征和原因为中低压配网的运行抢修提供建议结合大数据技术分析结果和客户报修，长期跟踪低电压台区的治理情况中低压电网的规划改造提供建议 功能框架低电压原因分析基本情况分析治理措施建议低电压范围低电压特征低电压影响因素分析台区低电压原因诊断地区治理措施建议台区治理措施建议低电压监测与分析 技术线路结合大数据特性，从数据存储、数据管理、数据计算、数据整合与治理、数据分析与挖掘、数据展示等方面进行架构设计。对用电采集、电网网架数据、调度等系统的数据进行统一采集，基于HADOOP架构对采集的数据进行存储及计算。通过数据管理、数据整合与治理对存储的数据质量提供强有力的保障。对采集存储后的海量数据根据数据挖掘技术进行建模，得出分析结果并对分析结果进行可视化的全面展现。 30大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 电网设备负载监测与分析背景和意义31应用设计背景随着智能电网的发展，智能表计得以广泛的安装在电网的末端用户侧，实时而精确的用户侧负荷数据可以被电网运行人员所获得，利用这些数据，可以进行配网的潮流计算，并以此计算结果为基础，可以开发出协助电网运行维护的多种高级应用。应用设计意义从设备运行角度看，通过对设备负载情况的实时感知，来避免因为设备故障造成的非计划停电事故，减少停电事故引起的经济损失，从而明显提高电网运行的可靠性；从设备维护角度看，实时负载监测对设备维护方案的制定获得详细的数据基础，可以减少过多的巡检人员的现场巡检作业，在一定程度上减少了设备维护的成本；从电网规划和投资角度来看，在新的规划和投资上，进行有目的性的建设，避免了盲目投资，提高电网的可持续性发展，减少了电网投运的总体成本，从而进一步减少电网终端用户用电的成本。 电网设备负载监测与分析设计思路32电网设备负载监测与分析应用主要帮助电力系统用户能够更加直接而详细地感知其系统中电力设备的负载状况，同时能够有针对性地分析解决在运行中出现的重过载现象。因此可以达到的目标是：感知问题、分析问题原因、提供解决方案以及问题预警。 电网设备负载监测与分析功能框架33主要功能包括了设备的状态感知，负载数据的统计查询，发生重过载情况的原因分析，提出重过载消除的解决建议以及针对配电变压器的未来24小时过载情况的预警。 电网设备负载监测与分析功能设计341.状态感知功能目标：基于地理信息系统的设备分布界面，一方面展示了系统设备所处网络拓扑的位置，另一方面采用警报形式使用户能快速直接地定位出现重过载的网络设备。所需功能点：电网拓扑漫游、实时负载情况监测、实时负载数据展示。2.统计查询功能目标：详细展示了设备的实时和历史数据。具有查询、排序、曲线绘制等功能。同时，对重过载数据的展示，有着重的功能设计。所需功能点：重过载统计、负荷曲线、负载率分布、低负载率设备展示。3.重过载原因分析功能目标：分析设备出现重过载情况的原因。所需功能点：分析容量不足设备、分析无功补偿不足设备。4.重过载解决方案功能目标：针对不同的重过载原因，提出最优的消除重过载建议方案。所需功能点：针对容量不足情况的解决方案、针对无功补偿不足的解决方案。5.过载预警功能目标：根据历史负载情况和预测情况进行未来24小时配变的过载预警。所需功能点：负荷预测模型、变压器过载警报。 电网设备负载监测与分析——总体框架设计状态感知分析评估统计查询过载预警解决建议供电公司展示层变电站展示层馈线展示层过载预测重过载统计负载曲线负载率分布低负载率有功不足设备无功补偿不足设备重过载设备列表解决建议条件解决建议结果电网设备负载监测与分析 36大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 设备故障预测背景国家电网2006年初开始着手统一开展状态检修相关研究工作。2007年编制完成了《国家电网公司输变电设备状态检修管理规定》、等核心文件，初步建立状态检修规章制度和技术标准体系2008年国网公司总部组织九家网、省公司率先开展了状态检修工作试点，设备运行可靠性水平和检修工作效率显著提高。状态检修是指根据先进的状态监测和诊断技术提供的设备状态信息，判断设备的异常，预知设备的故障，在故障发生前进行检修的方式，即根据设备的健康状态来安排检修计划，实施设备检修。设备故障预测是状态检修的核心问题。37 研究思路故障关联关系分析故障概率分析结果故障原因分析结构化数据非结构化数据图片视频流运行数据气象信息缺陷报告病史信息试验数据投运信息38 故障原因分析（变压器）序号部件设备故障事件1套管套管炸裂2分接开关触头烧损、桶体爆炸3储油柜变压器进水、油面异常升高、呼吸系统有异常4绕组绝缘击穿5铁芯铁芯过热6绝缘介质绝缘击穿7冷却系统冷却系统失效、冷却器故障8引线引线断股、引线相间短路、引线对地短路9附件绝缘油裂化、变压器跑油一级分类二级分类三级分类内部原因运行原因操作错误应急处理不当运行标准不当设备过载检修原因检修操作不当监督不当图纸错误判断失误试验不合标准检修标准不当一级分类二级分类三级分类外部原因人为原因外力破坏极端天气原因雷电冰雪暴雨地质灾害原因地震土质松动洪水泥石流自然环境原因污秽原因生物原因鸟害问题小动物39 关联分析外绝缘绝缘电阻油中气体外部气温负载故障概率电容量油位雷击使用Apriori算法计算关联系数，量化评估故障因素和故障率之间的关联性。Apriori算法使用逐层搜索的迭代方法，直到不能再找到频繁项集为止。40 变压器健康状态评估附件引线绕组绝缘介质分接开关铁芯套管冷却系统储油柜故障概率预测41 42大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 现状及必要性目前电气一次设备的风险评估方法发展得较为成熟，风险评估结果可为一次设备运行、维护、检修、试验及技术改造等生产管理工作的决策提供依据。相比于一次设备，电气二次设备存在的缺陷、障碍及风险的识别、评估和管理工作仍停留在对风险评估模型的分析和研究层面上。主要原因为由于设备故障的发生不仅与自身的运行参数据相关外还与其所在运行环境、周边设备等诸多因素有着直接或者间接的关系，如何从大量、多维的相关数据中分析、挖掘出设备的故障发生概率仍然较为困难20世纪50年代末期系统安全工程推动了风险评价技术的发展。20世纪80年代80年代末以来,风险评估相关理论开始在电力一次设备风险评估领域使用；2008年国网公司总部组织九家网、省公司率先开展了状态检修工作试点，设备运行可靠性水平和检修工作效率显著提高。通过课题研究，为使二次设备的运行风险得到有效预控，需要一种针对二次设备自身特点的风险评估方法，利用二次设备的运行、检修、实验、及环境等大量、多维的相关数据建立风险评估模型进行大数据分析，形成基于大数据的二次设备风险量化评估体系。二次设备故障不仅会造成的直接损失，还会因波及其它设备的正常运，带来的大量很难准确衡量的间接损失,对二次设备故障产生的总风险由于缺乏大维度数据分析的支持目前很难定量地去分析与评估。-43- 二次设备风险评估特点大数据特征二次设备的不仅仅数量庞大，产生的信息量大，其产生的数据特性还符合大数据的一般性特殊——规模性、高速性、多样性以及价值性等特性。故障成因复杂二次设备故障的发生不仅与自身的运行参数据相关外还与其所在运行环境、周边设备等诸多因素有着直接或者间接的关系，如何从大量、多维的相关数据中分析、挖掘出设备的故障发生概率仍然较为困难故障损失计算复杂二次设备故障不仅会造成的直接损失，还会因波及其它设备的正常运，带来的大量很难准确衡量的间接损失,对二次设备故障产生的总风险由于缺乏大维度数据分析的支持目前很难定量地去分析与评估-3- 技术路线-45-二次设备风险量化评估架构研究二次设备风险评估模型二次设备风险量化评估体系研究 主要研究内容本次课题的研究内容主要有：二次设备风险量化评估体系架构研究、二次设备风险评估模型研究、风险量化评估体系研究、开发一套二次设备风险评估软件原型软件。研究内容二次设备风险量化评估体系架构研究基于二次设备的状态数据和监测数据，建立二次设备状态评价模型和失效评估模型及可能损失评估模型，在此以技术方法为主线，形成二次设备风险量化评估架构的基本内容。二次设备风险评估软件原型软件开发：根据研究的二次设备风险评估体系开发出一套评估软件原型，对典型的二次设备进行风险评估验证二次设备风险评估模型研究：二次设备状态评价模型、失效模型以及可能损失评估模型。研究各外部因素对上述各模型的影响程度，通过大数据手段分析出合理的权重系数，最终形成一个最为合理的二次设备风险量化评估模型。风险量化评估体系研究：主要研究内容包括：（1）设备役龄修正机制研究（2）权重系数修正机制为了准确地反映二次设备风险量化值需要对设备运行时间以及权重系数进行评估修正，通过修正完成完整的评估体系。-6- 研究内容-风险量化评估架构-47-R为风险值；L为可能损失；P为平均故障率；t为状态评价时间。 研究内容-状态评价模型-48-用于评估的状态参量状态评价模型 研究内容-失效模型-49-风险评估失效模型设计流程构建故障率（P（t））与设备状态(S(t))之间的关联模型(f)即设备风险评估失效模型 研究内容-可能损失评估模型-50-可能损失评估的风险因素类型可能损失评估的风险因素类型 研究内容-风险量化评估体系修整机制研究-51-设备役龄修正机制研究权重系数修正机制研究 52大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 研究背景红外检测技术具有远距离、大面积和快速扫描的特点，已成为电力行业维护检测的重要工具，被广泛用于带电设备的故障诊断。在利用红外检测技术对带电设备进行故障诊断的过程中，应用最为广泛的分析方法是表面温升判别法和相对温差判别法。1999年发布DLT/6641999《带电设备红外诊断技术应用导则》2008年改版发布DLT/6642008《带电设备红外诊断技术应用导则》53 红外热成像诊断的的现状目前变电设备和线路设备定期巡检普遍使用的红外设备为便携式和手持式非制冷行焦平面成像仪。拍摄形成的红外图片需要进行人工识别处理。现有软件需要单张导入红外图片，只能显示图片中的高温点，不能自动识别故障。随着无人值守变电站的推广，巡检人员需要拍摄大量红外照片，如使用人工识别，工作量巨大。54 551红外图像读入及预处理2图像灰度化3图像边缘检测4设备部件类别识别5设备温度判别标题6设备温度故障自动判别技术方案 56大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 线路在线监测的现状2008年初的罕见冰雪灾害发生后，国家电网公司、南方电网公司均加大了对输电线路覆冰、在线监测的研究投入1998年开始，国内高等院校及厂家陆续开展了对输电线路在线监测方面的产品的研发2002年~2004年国内相继研发成功了输电线路图像监测系统及输电线路覆冰监测系统，覆冰监测装置在国内总体应用量在1500余套左右，图像监测装置在3000套以上目前在线监测产品制造厂家达到10余家，监测装置总体产品应用量达到1万台左右57 视频在线监测的现状目前线路的视频在线监测还是以在线监视为主，使用人工进行视频或图片的巡检。直升机巡线应用也越来越多，巡线过程中拍摄的需要处理视频数据数量巨大58 自动异常识别的研究意义随着视频监测系统投入的越来越多，人工监视易造成肉眼疲劳，造成漏报。监控中心的视频线路较多，人工监视也无法一一监看，易造成漏报采用视频处理技术对监控视频和图片进行实时处理与分析，通过提取线路特征，自动识别异常情况并进行报警，能极大减少工作量，提升输电线路的安全可靠性。59 线路视频在线监测常见的异常情况1）外物接近导线安全预警距离智能视频检测与报警2）线路飘挂物智能视频检测与报警3）导线弧垂点上下变化智能视频检测与报警；4）导线弧垂点舞动智能视频检测与报警；5）导线间距变化智能视频检测与报警1234560 线路视频在线监测常见的异常情况6）导线覆冰智能视频检　　测与报警7）输电线路保护区内大　　型机械闯入并停留智能视频检测与报警：8）人员、车辆入侵输电线路特定区域智能视频检测与报警；9)输电线路保护区内树木生长超高的智能视频检测与报警：678961 621视频读入及预处理2图像灰度化3图像边缘检测4直线监测5距离换算6异物检测技术方案 63大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 业务目标和总体工作思路6464综合平衡•经营•安全•满意度支撑重视结果关注过程•规范•高效•先进基于量价费损系统及运监中心的其他数据来源，从客户全面管理理念出发，对现有业务进行提升设计、流程优化，并指导相关信息系统的进一步整合和深化，实现客户全面管理和业务的横向贯通，并为管理者提供有力的决策依据经营指标满意度指标安全指标三者平衡最优总体目标是统筹协调经营指标、安全指标和满意度指标三者的关系，在确保电网安全可靠的同时提高服务质量，改善客户关系，优化客户面管理。 监测基础及内容65监测对象监测基础：量价费损，营销管理、用电采集、稽查系统、95598，TMR、运营监测系统等信息化系统监测内容：从内控点及外延点两个维度全面梳理营销全业务条线，重点开展业扩报装、经营成果、工作质量、减容销户监测，对重要领域进行专题监测，并对监测中发现的问题进一步深入到业务活动中进行关联监测；监测基础及内容客户全生命周期是以电力公司最大的资源和服务对象—客户为中心，着眼于建立从客户周期开始到结束的全过程的分阶段、全流程的监测分析体系。 总体框架设计66 客户监测管理方案67供电质量客户服务经营质效电压合格率供电可靠性电费回收业扩报装95598客户服务营业厅平面管理供电量售电量售电收入市场开拓线损经济运行 客户监测管理方法68从监测内容的特点出发，并充分考虑不同监测视角，确定供电服务的监测方法。汇总视角单体视角穿透查询比对监测将汇总数据（指标）按照组织机构、业务类型向下穿透，进行不同维度的对比。√√√√阈值预警通过指标自身同比、环比、趋势、对标等不同形式的比对，查看指标所对应的业务变化趋势，发现异动与问题。√根据预先设定的阈值与采集的指标数据进行即时比对，当越限时进行预警以便及时发现经营活动的异动。 客户管理监测内容69对某一监测范围内业务的总体情况进行监测。对单个指标进行监测工单预警/告警执行绩效在途工单状态完成业务量时点监测期间监测汇总监测单体监测流程进度状态流程预警/告警流程执行绩效钻取汇总客户管理监测包括汇总业务和单体业务，不同监测视角下对应不同的监测内容。客户管理监测类型 汇总视角单体视角客户管理监测维度70根据客户管理监测内容的特点设定监测维度。监测维度质量客户对流程执行结果是否满意、流程执行过程中工作质量。效率流程总时长、各环节的时长是否合理，是否有提升改进空间。合规流程的执行过程、结果是否符合相关管理规定要求。规模受理、完成的业务总量。 监测产出71执行监测编制监测结果评价月度通报异动协调监测分析报告季度/年度评价通过协调工单及时就发现的问题进行协调解决。对重大问题形成专项监测报告，送有关部门与领导。汇总各单位、各专业计划预算执行情况，按月发布。以季度/年度为周期发布计划预算执行评价报告。客户管理全面监测将综合各环节的监测结果，形成4类成果输出，与公司决策、管理层进行互动反馈，在经营中发挥实效。 72大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 智能用电概述与体系结构73依托智能电网和现代管理理念，利用高级量测、高效控制、高速通信、快速储能等技术，实现市场响应迅速、计量公正准确、数据采集实时、收费方式多样、服务高效便捷，构建电网与客户能量流、信息流、业务流实时互动的新型供用电关系。 当前现状与存在问题74现状：在多个网省公司上线运行了横向涵盖电力营销所有业务和服务节点,纵向贯通从公司总部、网省公司、地市公司、基层单位到电力客户的营销业务应用系统；建成营销分析与辅助决策系统，实现报表自动生成、指标监管等功能；系统的建设对于推进用电管理具有重要意义；问题：随着终端数量及采集频率的激增、更多业务系统接入需求及业务复杂性的增加，各省公司不同程度面临数据库性能不足的瓶颈压力，采取如表分区、物化视图、数据压缩、SQL优化等技术手段进行适度缓解，但由于OracleRAC采用了共享（ShareDisk）结构，不具有可扩展优势，存在I/O的读写瓶颈，难以很好的解决用电采集海量数据存储、计算统计及查询等瓶颈问题。（1）公司负荷管理和低压集中抄表系统已大面积覆盖。现状：公司营销部牵头组织开展电力用户用电信息采集系统建设研究。推动并牵头修订了《电能信息采集与管理系统》、《多功能电能表》和《多功能电能表通信协议》等电力行业标准，发布了12个智能电表的公司企业标准，统一了11类静止式电能表的型式、功能及技术规范。在多个地市开展智能用电试点建设；问题：试点建设为用电管理的智能化带来更多的实践依据和经验借鉴，可方便本次建设从中吸取积极经验，更好的为大用户智能用电分析提供样本空间，但对于信息化新技术的引入存在较大缺口，可利用大数据等关键技术为用电服务带来更为便捷、投资回报率更高的解决方案。（2）开展了用电服务关键技术的研究。现状：电力供应紧张的网省公司，依托行政手段和电力负荷管理系统，开展各级有序用电预案科学编制和可靠实施。公司促成政府出台尖峰电价、蓄热蓄冷电价、可中断负荷电价等激励措施，通过经济手段引导客户避峰；问题：多项举措的实施，有力的推动了用电管理的深入建设，但尚未对海量用户的用电行为进行分析，从而提供针对性的用电管理建议，将用电负荷利用率提升至更精益化水平。（3）试点实施了系列负荷响应措施。 智能用电管理应用意义75智能用电是智能电网的重要组成部分，是建设智能电网的着力点和落脚点，直接面向社会、面向客户，是社会各界感知和体验坚强智能电网建设成果的主要途径，在智能电网的建设中具有十分重要的地位和作用。近年来，随着智能表计的大规模应用和系统接入，用电信息数据资源开始急剧增长并形成了一定的规模，国家电网公司已积累了大量丰富的用电信息数据资源，为公司决策分析提供了良好的条件，但存在数据存储分散、跨类型海量数据分析不足、实时决策不到位等问题。将大数据技术应用于用电管理中，通过数据挖掘技术对用采数据进行深入分析获得用户用电行为、负荷情况等潜在的有用信息，为企业的用电监管、能耗审计、开展节能工作提供依据，能更好的制定用电管理方案。释放“大数据”的业务潜力，增强以数据为中心的企业的业务能力以及通过在对运营流程中注入价值信息来精简业务流提升效率，从而实现大用户用电分析应用的实用化、精益化。达成完善基础设施、促进业务融合、改善服务水平、提升用户体验等企业核心目标在未来实现数据运营与数据增值，通过数据提升服务用户与社会的能力，从而提高公司经营管理水平。 智能用电管理的新思路76在国家推进节能减排和需求侧管理的大背景下，针对当前供电短缺、峰谷差不断拉大、现有智能用电管理的安排相对粗放等问题，分析并研究智能用电管理新思路，设计新型的智能用电优化闭环解决方案。新型思路传统做法主推大用户轮休、强调平均分配针对不同用户用电特点，考虑差异化用电策略强调供电充裕性、忽视经济性缺少事后的评估与反馈，不利于后续改进提升多目标综合优化，兼顾经济性引进事后评估与反馈机制，实现闭环管理123 要实现新思路，则需研究多项新型技术，并设计开发新型仿真工具77要使新型的思路落到实处，需要研究包括新型的用户特性识别技术、智能用电优化模型和事后评估体系等在内的多项内容，并设计开发新型的智能用电仿真模型和工具，便于决策支持分析。新型智能用电管理解决方案1234新型用户用电特性识别技术研究基于人工智能技术的新型用户用电特性识别技术，掌控辖区内不同用户、不同群体的典型用电特性和用电偏好智能用电考核评估体系新型智能用电仿真工具新型智能用电优化模型设计新型智能用电仿真模型和工具，分析预估针对不同用电特点采用不同策略的效果，结合设备状态监测与分析，为科学制定智能用电计划提供支持。综合可靠性、经济型和用户满意度等多重目标，充分考虑用户的用电特性及其他特点，研究更适合于用户推广的新型智能用电优化模型和方案研究智能用电执行效果的反馈与评估方法和技术，为构建闭环的需求侧管理提供支持 设计基于用户用电特性的新型智能用电解决方案，通过分析、决策和评估，形成最优绩效目标的智能用电分析78分析决策评估用户特征及设备状态综合:负荷特性挖掘：利用人工智能和数据挖掘分析技术分析个体及群体的典型负荷特性重过载监测与分析：感知电力设备的负载状况，有针对性地分析解决在运行中出现的重过载现象智能用电适应性评价：综合行为、经济、位置及其他因素，评估用户对不同智能用电策略的适应程度智能用电策略优化与仿真:策略定义：针对用户特点寻找适应的策略，针对设备发现并解决问题方案优化：针对给定的目标和用户适应的策略，综合考虑成本、供电可靠性和用户满意度等多重因素，形成最优方案场景仿真：模拟不同场景，分析不同情况下的智能用电分析效果执行效果评估:用户表现考核：跟踪用户对智能用电指令的执行情况，根据相应的激励和惩罚规则分析其奖惩结果设备运行工况评估：根据重过载监测与分析，给出解决方案后查看设备运行工况策略库反馈调整：根据用户实际的执行情况，调整适应于用户的策略库定义规则123 设计新型的用户用电特性分析模型，为新型智能用电解决方案奠定基础79用电特性识别是新型智能用电解决方案的基础。既要识别个体用电特性的技术，同时也需要从个体特性中提取出群体共性的方法。个体识别技术中需要重点考虑数据降噪等避免伪特性的方法，而群体共性提取技术则需要考虑如何识别个体特性相似性的模型。用电信息采集系统用户的用电信息整年的日负荷特性曲线用大数据技术进行聚类分析一个聚类代表一种用电模式用户用电行为分析基于数据挖掘和人工智能技术的用户用电行为分析主要有两方面的内容：时间对单个用户的用电模式进行识别。用户的用电模式往往不止一种，存在多样性。通过对用户的用电规律和用电特性进行深入分析，识别出用户的所有用电模式。对不同用户的用电模式进行聚类分析。得到用户用电模式的群体性，有助于针对同一群体用户开展进一步研究，识别出对应的用电模式。各类应用 制定错峰方案NO用户ID用户类型用电模式用电指导错峰量1富康线3号亮化工程，限减少部分亮化3.2MW2南环线7号娱乐场所营业推后半小时1.2MW3尹通线12号照明工程，限减少部分照明2.8MW4……28MW工业用户商业用户NO用户ID用户类型用电模式用电指导错峰量1北交线5号高耗能，限生产提前1小时2.6MW2富康线28号高排放，限生产推后1小时2.4MW3水泉线16号高排放，限关闭2台机组1.7MW4……62MW80 调度室营销部工用1工用2商用1工用3商用3工用5商用4错峰指令反馈信息错峰指令错峰指令反馈信息反馈信息营销部门把安排好的各用户的错峰量和错峰时间发送给用户，用户接到错峰指令后确认分配的错峰指标，开始实施错峰用电错峰方案实施之后，用户的用电方式发生改变，系统的实际负荷曲线也随之发生改变。从图中可以看出，错峰之后，电力缺口移除，且系统实际的用电负荷曲线与预测的负荷曲线图相比得到了优化错峰方案执行81 设计开发仿真模型和工具，提供模拟仿真环境，以便为管理者提供决策支持82仿真模型提供基于用户用电特性的智能用电应用模拟场景和分析计算工具，并根据对整体场景或用户的参数调节实时计算对应的智能用电管理仿真结果，便于管理者做决策分析。1.场景模拟2.仿真计算模拟不同用户特性所适应的智能用电策略模拟不同智能用电策略的推进力度模拟用户有效执行智能用电指令的比例其他场景参数调整和模拟计算不同场景下，智能用电的计划及其对整个系统的预估效果或影响计算不同场景下，单个用户具体的措施、效果及对其影响计算其他与仿真场景相关的分析内容示例 设计新型智能用电优化模型，综合考虑用户特点、网络情况和经济因素等，形成最优绩效目标的轮休和错峰计划83输入用户数据:个体特性群体特性……系统数据:负荷缺口线路负载网络约束……其他基础数据:政策规定其他用户设置参数……输出优化约束条件Min经济性影响可靠性影响用户满意度影响CostTICostTIICostTIII++用户调整能力约束系统运行约束政策和规则约束智能用电备选方案方案效果与影响 价值分析84应对需求&创造价值1.减少负荷损失，提高供电可靠性2.提升管理水平，保障客户服务质量3.加快公司管理和运行模式快速转型，形成可持续发展动力4.提高数据服务水平，发挥数据最大化价值5.贯彻数据作为公司重要资产的理念大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升，智能用电分析中应用电力大数据的价值主要体现在以下几点： 85大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 客户全面感知分析的背景在输配网分离的改革背景下,供电企业甚至是民营企业的竞争也逐步走向正规,更多的大客户尝试直购电试点工作的推广，“优质客户”成为电力公司争取的对象，随着电力市场化改革的深入，供电企业也要适应打破垄断的环境,树立一切以客户利益为先的管理理念，努力提供服务质量。应用分布式发电已普遍展开,越来越多客户对替代能源解决方案的青睐，该技术的应用速度亦呈指数级增长。与此同时，数字消费技术正迅速打破各种壁垒，为供电企业和新进入的竞争者创造了诸多全新机遇。 客户全面感知分析的背景电动汽车充电、互联家居及能源管理等新兴服务市场的发展绝不会一帆风顺，前路依然阻碍重重、难以预判，但可以肯定的是：能源行业正在经历结构性转型，变革大潮势不可挡。供电企业正处于关键的十字路口，构建未来恰逢其时。摆在它们面前的有两条截然不同的道路：继续扮演服务和商品提供商的传统角色，或是突破商品模式，转变成为能源服务商。电力企业拥有一个庞大的客户数据,通过对数据的重组、发掘其内在规律可以为基于大数据的客户全面感知分析提供技术层面的支撑。 客户需求的全面分析和掌握不仅是客户服务管理的起点，对客户服务水平的提升也具有一定影响。通过对从各个渠道获取的客户需求数据获进行深入挖掘，分析客户对电力客户服务的需求及对供电企业的发展的引导作用，提升客户的精细化管理，把握日渐复杂的市场脉络，加快新能力的建设步伐，由此迅速扩大规模、捕捉全新机遇、积极开发非传统市场，为电力客服及客户引导性的业务发展提供数据支撑。客户全面感知分析的目的 客户全面感知分析评价体系技术方案评价体系以客户感知模型为整体框架，涵盖多个评价指标，采用科学的方法分配指标权重，并综合考虑评价单位的现状水平、历史水平和波动性计算最终评价结果。感知模型——“以感知模型为整体框架”指标体系——“以指标体系支撑感知模型”评价方法——“以评价方法计算评估结果”创新一：多维感知矩阵创新二：权重修正算法创新三：持续提升公式123评价体系 评价体系-感知模型客户感知模型是从客户需求出发，以客户用电服务生命周期和客户全方位感知两个维度为切入点，综合分析客户的需求指向的整体框架。客户感知模型 技术框架 92大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究 93背景 94研究思路 95初步方案