大规模视频转码调度算法的研究和设计

《大规模视频转码调度算法的研究和设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大规模视频转码调度算法的研究与设计学位类型：学术型学位学科（专业学位类别）：计算机科学与技术作者姓名：刘格非作者学号：09010502007导师姓名及职称：杨清教授实践导师姓名及职称：无学院名称：计算机科学与工程学院论文提交日期：2012年6月10日学位授予单位：湖南科技大学ResearchandDesignoflargescalevideotrans-codingschedulingalgorithmTypeofDegreeAcademicDegreeDisciplineComputerscienceandtechnologyCandidateGefeiLiuStud

2、entNumber09010502007SupervisorandProfessionalTitleProf.QingYangPracticeMentorandProfessionalTitleSchoolComputerScienceandEngineeringDateJune10，2012UniversityHunanUniversityofScienceandTechnology学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本

3、文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名：日期：年月日摘要随着国家大力推进互联网、广播电视网、移动网的三网融合，有越来越多的视频数据需要畅游于三网

4、之间。然而，三网间网络带宽、播放设备以及播放软件各不相同，因此需要对视频进行转码。但三网间有着规模高达百亿级的视频文件，其转码任务的存储量达到100PB级，转码任务的计算量也达到P级，如此大的存储量和计算量，无法依靠单台计算机来实现。本文提出了一种通过计算机集群系统的解决方案。首先研究了集群的体系结构，集群的特点，集群的分类和几种常用的集群调度算法，并针对视频转码的特殊背景，选择LVS（LinuxvirtualServer）作为集群的解决方案，通过剖析LVS的内部机制、调度算法的比较和算法的分析，提出了一种针对视频转码的改进型动态负载均衡算法：ADLBA算法（Advan

5、cedDynamicLoadBalanceAlgorithm）。ADLBA算法分为调度器端和节点端两个部分。调度器会定期收集各个计算节点实时的CPU信息和内存信息，获得每个计算节点的真实负载。同时，根据视频格式间相互转换时所需的资源需求，制定转码系数表，确定视频任务对资源的预期需求。最后调度器根据节点真实负载和任务的预期资源需求计算得出一个综合负载需求，选择综合负载最小的计算节点来调度。在节点端，算法通过优先级反馈队列的设置，来进行任务排队队列的管理，并选择优先级最高的任务到CPU上执行。最后，本文完整实现了ADLBA算法，并搭建了集群系统环境，通过与WLC算法在任务运

6、行时间、平均等待时间和平均CPU利用率等方面的比较，验证了ADLBA算法的有效性。关键词：任务调度；负载均衡；LVS；视频转码iABSTRACTWithdevelopmentofTriplePlay,moreandmorevideodataneedtodeliverbytheTriplePlay.Becausethebandwidthofnetwork,hardwaredevice,softwareisdif-ferentwitheachother,wemustconvertthevideofromoneformatintoanother.Butthequantityo

7、fthevideointheTriplePlayisupto10billion,thetaskoftranscodingisupto100PBandthestoragealsouptoPorderofmagnitude.Thecalculatingtaskandstoragetaskistoolargetofinishbysinglecomputer.Sothispaperproposesanewmethodthatusestheclustertosolvethisproblem.Thispaperproposesanewmethodth