Hadoop云计算平台在视频转码上的应用.pdf

《Hadoop云计算平台在视频转码上的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、应用．HadoopMapReduce是一种软件Reduce框架的Hadoop集群转码的厄数据，而DataNode仔储r灾并行计算模犁业务作为一种典犁的网络服务，具有极人的发展潜力和市场MapReduce是由Google提出的云计算核心计算模犁，提规模。与其它业务比较而言，视频业务有自身特点：视频处理供了比多线程编程更上一层的接口，『并蔽了许多细冉性问题，过程坩计算能力要求高；视频的编码、解码、实时视频处理等降低了开发者的入门门槛，提高了开发分布式序的效率。技术，涉及到人量的空域频域的变换，在时效性较强的视频业MapReduce是一‘个用于大数据量计算的编程模犁，同时也地务中，

2、对计算能力构成很大挑战。Hadoop是‘个开源的云汁一种高效的任务调度模型。在MapReduce计算模型lf1，要用算框架，它是一个适合处理海量数据的并行编程系统，可以根，rLl提供两个关键函数，map函数和reduce函数，即映射和规约据输入数据分布等信息自动创建多个并行子任务，并将子任两个主要过程。MapReduce框架运行于HDFS文件系上面，这务调度到合适的集群节点上并行执行。所以此模型能够很好两个函数对一组键值对(key／value)进行操作，得出矧键值地适用于多个视频文件同时转码。MapReduce是Hadoop系统对：(input)一>map一><

3、k2，v2>一>combine一>一>的一个核心模块，它使得程序员不必关心节点失效、仟务火效reduce一>(output1。及任务之间的数据等问题，而只需按照MapReduce编程规范3．-~Hadoop的视频转码系统定义好map函数、reduce函数以及一些数据格式信息，即可完成分布式数据处理问题。3．1系统说明通过上面关于云计算和Hadoop相关知识的介绍，结合人2．Hadoop介绍批量、多用户视频转码对计算资源的需求，实现基JHadoop谈到Hadoop不得不提到云计算，云计算是网格计算、分云计算平台的视频转码。本项目视频处理类的实现是基于

4、音布式计算、并行计算、效应计算、网络存储、虚拟化、负载均衡视频转换软件ffinpeg，通过MapReduce中map函数封装ffm—等传统计算机技术和网络技术发展融合的产物。云计算的基peg转码功能，当大量视频转码任务提交到集群时，系统自动本思想是通过构建大规模的基于集群系统的数据中心，将集把仔务随机分配到集群节点上，利用集群系统计算能力币I】已群中的资源以虚拟化的形式向用户提供资源池。总之，云计算有视频转码开源软件实现多视频同时存线转码。哭_r视频转是在分布式计算的技术基础七的更高层次的“集中式”计算处码相关技术如码率转换、空间分辨率转换、时分辨率转换、理模式，Hadoop

5、是由Apache开源组织的’‘’个分布式计算框语法转换、容错视频转码等都交给已有的转码软件米实现。天架，可以在大量廉价的硬件设备组成的集群上运行应用程序，fHadoop集群的搭建可以通过网络、书籍找剑人晕相关资为应用程序提供了一组稳定可靠的接口，旨在构建一个有高料，关于具体map函数、reduce函数以及key、value埘的划分叮靠性和良好扩展性的分布式系统，它是现在实现云计算的等细节问题这里也不做详细解释，只给出了视频转码的于F发主要可选方式之一。Hadoop主要包括Hadoop分布式文件系框架。统和计算模型MapReduce两个部分。在本设计中，使用Java提供的Run

6、time类进仃奉地转52．1HDFS分布式文件系统功能代码的调用。这样做的好处是：不论本地视频处理功能足HDFS有着高容错性(fault—tolerent)的特点，设计用来部由什么编程语言实现的，只要最终的形式是可执彳]r文件，都uJ署在低廉的(1ow—cost)硬件上。它提供高传输率(highthrough—以被MapReduce框架调用。Runtime类可以耳义得Java虚拟机put)来访问应用程序的数据，适合那些有着超人数据集(1arge的运行时环境，这个类有一个非常有用的法exec(StfingClTI—dataset)的应用程序。HDFS采用Master／Slave

7、架构，一个dArray[])用于调用本地町执行文件。此法的参数足嘤被

8、蒯HDFS集群由个NameNode节点和一组DataNode节点组用的可执行文件的命令行字符串数组。该亨符串数组的值取作者简介：张浩，男，湖南益阳人，硕士主要研究方向：计算机应用，云计算一36—云技术确决于视频处理功能的具体实现。(1)用户将需要处理的视频上传到HDFS上；3．2Hadoop架构实现(2)将视频的处理信息和所要用到的处理函数传递到视频Hadoop系统包括分布式文件系统HDFS、并行计算框架处理框架中；MapReduce