风电场数据中心hadoop云平台作业调度算法研究

《风电场数据中心hadoop云平台作业调度算法研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1308-0042修改风电场数据中心Hadoop云平台作业调度算法研究LUOXianjin*,YUELiming1,ZHENChcnggang11.华北电力人学控制与计算机工程学院，河北保定0710001.SchoolofControlandComputerEngineering，NorthChinaElectricPowerUniversity，Baoding071000,ChinaLUOXianjin,YUELiming,ZHENChenggang.Researchonthejobschedulingalgorithmonthewindfarm

2、sdatacentercloudplatformbasedonhadoop.ComputerEngineeringandApplicationsAbstract:Winddatacentercontainsstatusmonitoring,dataacquisitionreal-timejobsandothernon-real-timejobs.ThestructureofC/Swhichhasbeenwildlyused,butithasmanydisadvantages,suchastheimbalanceofresourceutilizati

3、on,thehighcostofmanagementandmaintenance,etc.Thispaperpresentsadatacenterarchitecturebasedoncloudcomputingplatform;InordertosolvetheFIFOSchedulerintheopensourceHadoopplatformcannotsatisfythereal-timemonitoringjobs’requirements,theauthordesignadualqueuejobschedulerbasedontheexi

4、stingFIFOScheduler,whichconsiderthedeadlinetimeandpriorityofthejobtomakeschedulejobdecisions.ComparedwiththeFIFOScheduler,theexperimentalresultsshowthatthedualqueuejobschedulercanmakeagoodperformancewhentheclusterloadislargetomakethereal-timejobscanbeexecutedfirst,andprovidesa

5、guaranteeforthesafeoperationofthewindturbines.KeyWords:hadoop;cloudplatform;schedulingalgorithm;clusterload摘要：风屯场数据屮心包含状态监测、数据采集等实时类作业和非实时类作业，采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。本文设计了一种蕋于Hadoop云平台的数据中心架构；针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求，在原有FIFO调度器的基础上，作者设计了一种双队列的作业调度器，综合考虑作业的截止吋间和优

6、先级來进行作业凋度决策，实验结果表明，与FIFO调度器相比，双队列的作业凋度器在集群负载较人吋能够表现出较好的性能，保证实吋类作业能够优先执行，为风电机组的安全运行提供保障。关键词：hadoop；云平台；调度算法；集群负载文献标志码:A中图分类号:TP301.61引言风能作为一种清沾的可再生能源，H益引起世界各国的关注，风力发电技术基木已趋于成熟。在大型的风电场中有几十台甚至上百台风力发电机，同时一个风力发电集团拥有多个风电场，它们分散于各地，并且多处于偏僻地区，不但给风电公司的生产运营管理带来很人网难，也给电网的调度和电网的安全运行带来很多的问题

7、［1］。目前，Google、Yahoo、Amazon、Facebook、百度以及阿里巴巴等都在应用云计算技术来解决它们所面临的处理海量数据的问题［2］。Hadoop（对海景数据进行分布式处理的软件框架）开源丼行计算框架构建在廉价的计算机集群之上，通过各个计算机节点的协M丄作来获得强大的数据存储能力和计算能力。Hadoop主要包括两个组件：MapReduce（一种编程运型，用于并行处理大规模数遍）并行计算框架、分布式文件系统13】（DistributedFileSystem）。利川MapReduce框架編写的程序采川分而治之的思想，使得一个人的任务能

8、够被分成若T•个小任务，以并行的方式运行，从而加快数据处理的速度14］。在风电场数据中心集群屮，川户提交的作业被初始化成苦