基于 Hadoop 技术的批量录波数据高性能处理方法-论文.pdf

《基于 Hadoop 技术的批量录波数据高性能处理方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第43卷云南电力技术Vo1．43No．22015年4月YUNNANELECTRICPOWERApr．2015基于Hadoop技术的批量录波数据高性能处理方法张琳波，李本瑜，翟海燕，廖晓春，陈益(1．云南电力调度控制中心，昆明65001l；2．武汉顺承科技有限公司，武汉430071；3．湖北工业大学理学院，武汉430068)摘要：介绍了批量录波数据的特点及产生原因，分析了现有应对措施及存在不足，并提出基于Hadoop虚拟化和分布式技术改善和优化主站性能的方法，采用通信服务矩阵替代原双重化模式下单一

2、服务器来承载批量数据处理任务．保证了主站系统整体负载平衡，有效降低了CPU负荷率。关键词：主站系统；Hadoop；通信服务矩阵；CPU负荷率ResearchonHigh-’performanceTreatmentofBatchWaveRecordingDataBasedonHadoopTechnologyZHANGLinbo，LIBenyu，ZHAIHaiyan，LIAOXiaochun，CHENYi(1．YunnanPowerDispatchingControlCenter，Kunming65

3、0011；2．WuhanShunchengScienceTechnologyCo．，Ltd．，Wuhan430071；3．SchoolofScience，HubeiUniversityofTechnology，Wuhan430068)Abstract：Thispaperdescribesthecharacteristicsandcausesofbatchwaverecordingdata，analysestheexistingtreatmentsandshortcomings，proposesH

4、adoop—basedvirtualizedanddistributedtechnologiestoimproveandoptimizetheperformanceofMainSta—tionSystem，whichadoptscommunicationsservicematrixtoreplacetheoriginallysingleservermodetoCarrybatchdataprocessingtasks，inordertoensureaintegralloadbalanceofth

5、emainstationsystem，effectivelyreducetheCPUloadrate．Keywords：mainstationsystem；hadoop；communicationservicematrix；CPUloadrate中图分类号：TM76文献标识码：B文章编号：1006-7345(2015)02-0135-040前言1录波数据的海量特性我国电网信息集成系统均采用主站端到厂站继电保护故障各类信息中占比最大的是故障端-x,-J多的通信模式，由此造成主站系统_1]平台录波数

6、据。故障录波数据具有采样率高、通道数硬件资源的有限性同电网建设规模扩大的无限性多、启动频繁、文件超大等特性l5]此外，录波产生矛盾，硬件系统的升级换代远远跟不上厂站数据无效启动占比大。经测算，录波器的无效启设备数目增加的速度。随着一系列新思路、新要动率超过98％。在剩下这不足2％的有效启动记求、新目标和新标准r2]的实施，主站系统处理的录中，真正能够反映出电网故障的、有价值的信信息点越来越多，数据量越来越大，导致CPU负息不超过15％。荷率长期高居不下。2海量录波数据处理方式规范r3]规定。主站

7、通信服务器CPU负荷率指标为：每5分钟间隔正常时25％，大批量数据针对录波数据的海量特点．将录波器单独进处理时40％，非常保守。即便如此，因现场环境行组网。在主站端同继电保护故障信息系统进行远比实验室情况复杂，绝大多数投运系统依然达融合的处理方式成为行业共识。录波主站作为继不到要求。提升主站通信服务效率，有效降低电保护故障信息系统密不可分的组成部分，其形CPU负荷率，成为评价主站性能优劣的核心成也经历了远传、组网、主站三个重要发展阶段。指标远传：2003年以前。录波数据的远程获取是通过电力载波和

8、拨号远传的方式来完成．调度端1352015年第2期云南电力技术第43卷同厂站端的设备在同一时刻只能有一个连接，能通信服务性能的提升。且仅能处理一台装置的信息。组网：2003年以后，随着电力调度数据网的全面普及和应用，继电保护故障信息系统成为电I／网自动化建设的标配，录波远传技术也取得了长：I垃0信服务眷；iI：烨通@信服务罄避信服务IIVJ)一JV)足发展．开始具备主站的雏形和基本元素，数据采集方式改为以太网通信。主站端同厂站端设备图2主站性能提升线路图在同一时刻可以保持多个连接．但同一时刻只能