基于Hadoop视频转码的任务调度算法_毕莎莎

《基于Hadoop视频转码的任务调度算法_毕莎莎》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于Hadoop视频转码的任务调度算法11，2，34毕莎莎，陈清华，高煜红(1.南京工业大学电子与信息工程学院，江苏南京210009;2.浙江清华长三角研究院，浙江嘉兴314006;3.北京大学软件与微电子学院，北京102600;4.浙江工业大学信息工程学院，浙江杭州310023)摘要:现有的分布式转码系统大多没有考虑到根据计算节点的处理能力分配转码任务量，对转码过程造成影响，导致转码效率降低。针对这一问题，在对现有Max-Min算法的研究基础上，提出一种新的任务调度算法。利用佩奇排名算法评估机器转码性能，

2、输入视频被分成大小不同的段，依据其复杂度和机器的转码能力进行映射。处理能力强的节点将分配到更多的视频块，最终所有计算节点的完成时间得到均衡化。实验结果表明，该算法能够显著提升视频转码效率，在很大程度上改善了云转码系统。关键词:分布式转码;任务调度;佩奇排名;均衡化中图分类号:TN92文献标识码:A文章编号:1003－3114(2014)02－63－4SchedulingAlgorithmBasedonVideoTranscodingUsingHadoop11，2，34BISha-sha，CHENQing-h

3、ua，GAOYu-hong(1.CollegeofElectronicsandInformationEngineering，NanjingUniversityofTechnology，NanjingJiangsu210009，China;2.YangtzeDeltaＲegionInstituteofTsinghuaUniversity，JiaxingZhejiang314006，China;3.SchoolofSoftwareandMicroelectronics，PekingUniversity，Beij

4、ing102600，China;4.CollegeofInformationEngineering，ZhejiangUniversityofTechnology，HangzhouZhejiang310023，China)Abstract:Allocationvideosinaccordancewiththeprocessingcapacityofcomputingnodeshasasignificantimpactontranscodingperformance，whichiscurrentlynottak

5、enbymostexistingdistributedtranscodingsystemsintoaccount，resultingindegradationoftranscodingefficiency．Toaddressthisproblem，basedontheresearchofexistingschedulingalgorithmMax-Min，amodifiedalgorithmisproposed．ThispaperusedaPageＲanktoevaluatethecomputerperfo

6、rmance．Inputvideosequencesaredividedintosegments，andmappedtomultiplecomputers．Computingnodeswithhigherhandlingabilitieswillgetmorevideosegments．Obviously，itwouldaveragethefinishtimeofthecomputers．Experimentalresultsshowthattheproposedalgorithmcanachieveper

7、formanceimprovementoftranscodingefficiency，andenhancedistributedtranscodingsystemtoalargeextent．Keywords:distributedtranscoding;taskscheduling;PageＲank;loadbalance的转换，目的是把输入的压缩流转换成符合接收端0引言要求的压缩流。随着视频数据量的急剧增长，传统网络视频已成为人们生活中不可或缺的一部的视频转码系统存在存储能力不足、存储能力和处分。截止到

8、2012年，美国有将近90%的人通过网理能力不可扩展的缺点。近年来，研究人员提出多络获取高清视频［1］，如何保证各种移动终端得到不［2－5］种基于Hadoop的视频转码系统，用来提高转同的服务质量，提供可靠的服务面临严峻的挑战。码效率。文献［2］在集群机器配置完全一样的情况视频转码就是从一种视频码流到另外一种码流下，把视频分别按时间、机器数目和视频相关性分收稿日期:2013－12－20段，进行了3组对比实验;文献