基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究

《基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号______________________________密级______________________________ＵＤＣ______________________________编号______________________________硕士学位论文基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究学位申请人：王群峰学科专业：电气工程指导教师：屈志坚副教授答辩日期：独创性声明本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他

2、人已经发表和撰写的研究成果，也不包含为获得华东交通大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人签名_______________日期____________关于论文使用授权的说明本人完全了解华东交通大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。保密的论文在解密后遵守此规定，无保密内容。本人签名____________导师签名__________日期

3、___________摘要基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究摘要铁路供电系统是铁路运输的重要装备，担负着为电力机车、沿途车站、信号灯和闭塞装置等设备供电的重任，供电的安全性将直接关系到铁路运输的安全，为保障铁路系统的安全供电，铁路部门通过铁路供电监控系统对铁路供电系统进行调度监控。铁路牵引供电系统是一种典型的动态电网络，且机车负荷是大功率的冲击性负荷，具有波动幅度大、变化快等特点，同时高速列车的运行速度快、开行密度大，使得铁路电网的电压、电流等运行参数变化频繁，监控终端将采集到海量现场实时监测信息上传至调度中心，随着现场量

4、测点的增多以及采集频率的增大，采集到的供电调度信息量也越来越多，长期运行将产生海量信息。传统的数据处理模式在处理海量监控信息时容易造成较大处理延时，不仅影响铁路供电调度系统的实时性，严重时甚至造成关键监测信息的丢失，从而导致故障信息的处理不及时，进而威胁到铁路系统的供电安全。因此，如何快速处理海量实时监控数据，是一个需要迫切解决的关键问题。本文针对铁路供电监控系统中海量监控信息的快速实时处理问题，结合实际工程应用中海量监控信息的处理要求，搭建铁道调度监控流计算实时处理系统，该系统以Storm流计算框架作为监测数据的实时处理模块，以分布式消息系统Kaf

5、ka作为数据缓存模块，并以铁路动车段10kV电力远动监控系统数据为测试对象，通过对流计算实时处理系统进行一系列监测数据的拓扑实例测试，对系统的数据处理延时性能和数据吞吐性能进行测试，测试结果表明流计算实时处理系统可获得百ms级处理延时，且具有良好的数据吞吐性能，为铁路供电监控海量数据的快速处理提供新的解决方案。同时为提升系统的整体运算能力，从数据缓存模块、拓扑组件并行度参数、任务调度方法等方面对流计算实时处理系统进行优化，通过优化前后的对比实验，验证了优化方案提高了流计算处理系统的运行性能，并且在运行任务时集群各工作节点负载更加均衡。关键词：调度监控

6、，配电大数据，流计算，并行处理，分布式消息队列，负载均衡IAbstractRESEARSHONREAL-TIMEPROCESSINGOFRAILWAYPOWERSUPPLYMONITORINGBASEDONDISTRIBUTEDKAFKAQUEUEANDSTREAMCOMPUTINGCLUSTERABSTRACTTherailwaypowersupplysystemisanimportantequipmentforrailwaytransportationandisresponsibleforthepowersupplyforelectricloco

7、motives,on-streetstations,signallights,andblockingdevices.Thesafetyofpowersupplywilldirectlyaffectthesafetyofrailwaytransportation.Toensurethesafepowersupplyofrailwaysystems,Therailwaydepartmentdispatchesandmonitorstherailwaypowersupplysystemthroughtherailwaypowersupplymonitori

8、ngsystem.Therailwaytractionpowersupplysystemisatypical