【6A文】电力大数据关键技术与应用研究.pptx

《【6A文】电力大数据关键技术与应用研究.pptx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、电力大数据关键技术及应用研究精简版南瑞埃森哲2大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究大规模数据上多维索引和即时查询独特的并发控制机制完善的多数据兼容和应用平滑迁移工具独特的运行时优化支持OracleSQL的

2、自动化映射平台功能3核心技术创新点提高原有存储过程型应用向云平台的迁移效率，降低实现成本动态选择SQL在Hadoop环境下的最优并行方案根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂分析语句的运行性能基于查询重写的SQL到Hadoop映射技术I/O敏感代价模型驱动的并行方案优选技术集群资源感知的自适应分区技术基于混合多维索引的大数据查询技术基于组合存储的并行读写

3、优化技术提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、Insert、Delete等语句的运行效率优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务的综合执行效率为准实时的多数据源之间的数据一致性保障提供技术支撑根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用基于改进多版本机制的DML增强技术基于装箱模型的并发计算任务工作流的智能规划技术基于交叉Hash校验的数据一致性保障技术负载敏感的数据ETL并发度按需调节技术开源Hadoop平台无法直接应用于智能

4、电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作。4性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条记录，选取了三个计算和四个查询任务场景，对比大数据平台和Oracle关系数据库处理性能情况。三个计算任务涉及表和记录数：1)公变数据完整率之今日电量计算（2.47亿）2）低压数据完整率计算（116.1亿）3)低压用户电量计算（143.7亿）上报公变数据主表333390公变用户计量点228991停电统计表24151795上报公变电量数据153193115公变

5、终端测量点250975终端资产2600453统计公变数据完整率明细66257003公变任务表112821系统单位代码1320数据完整率明细临时表9071统计终端用户表838885低压任务表1903834低压测量点表17954341统计低压数据完整率4134600916低压表记表18476053低压用户表16224247系统单位代码1320上报低压数据主表22590221上报低压电量数据表7374570544停电统计表24151795终端资产2600453上报低压电量数据表7374570544上报低压数据主

6、表22590221低压测量点表17954341低压用户表16224247低压表记表18476053终端资产2600453统计低压日电量6906656585低压测量点表17954341低压历史数据异常615803低压数据异常表854964性能验证51)采集覆盖情况明细2）采集数据质量检查3)批量抄表数据查询4)台区线损分析明细四个查询任务涉及表和记录数：1.57亿条台区线损统计62931052P码2645单位级别关系1351G_TG634564单位级别关系1351用户280480低压数据46741659终端

7、资产2550507上报任务数据主表910439上报数据完整率明细69259714P码2645用户数280357用户明细表225288终端资产2547680上报任务数据主表910106用户明细表224140单位级别关系1351终端资产2315773P码2630用户数269803单位代码1320性能验证6低压用户电量计算：191min12min（实际运行23分钟）Oracle平台大数据平台143.7亿12min191min低压用户电量计算7采集质量检查明细查询：5.547s0.281sOracle平台大数据平

8、台5.547s281ms采集质量检查明细查询8计算任务验证对比大数据910大数据查询任务验证对比11大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网