基于hadoop 的视频转储研究

《基于hadoop 的视频转储研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop的视频转储研究　　摘要：随着科学技术的发展，用户对视频访问的需求也与日俱增，有效存储和管理海量的视频文件，为用户提供更好的体验，越来越引起人们的关注。Hadoop则提供了一种新的思路，通过Hadoop的HDFS和ffmpeg的结合，视频的转码和存储得到了更好的效果。　　关键词：Hadoop；视频；转码；存储　　中图分类号：TP37文献标识码：A文章编号：1009-3044（2015）30-0157-03　　ResearchforTranscodingandStorageofVideosBasedonHadoop　　LIKai1，DUANLiang

2、-tao2，DONGLin-lin2　　（CollegeofComputerEngineering，QingdaoTechnologicalUniversity，Qingdao266033，China）　　Abstract：Withthedevelopmentofscienceandtechnology，thedemandsoftheusersforvideoaccessaremoreandmore.Itismoreandmoreattactpeople’sattentionthattheeffectivestorageandmanagementofvideof

3、ilesandprovidinguserswithbetterexperience.Hadoopprovidesanewtrainofthought.ThroughthecombinationofHadoopHDFSfunctionandffmpeg，thetranscodingandstorageofthevideosobtainthebettereffect.　　Keywords：Hadoop；videos；transcoding；storage7　　随着移动互联网的迅猛发展，与之相应的视频app也越来越多，网络带宽状况也都不相同，终端的播放设备和软件的千差

4、万别便成了困扰视频应用的难题；随着电信网，互联网和广播电视网的三网融合的发展，更要求视频在三个平台上都能播放，因此视频编码格式需要进行转换。由于用户和网络环境都比较复杂，特别是像视频点播这样的应用，对海量视频进行转码的需要更大，否则不能满足多样化终端环境和不同网络的需求。视频转码业务面临越来越严峻的问题：海量化的视频数据，多平台的视频应用，多样性的视频编码标准。[1]　　针对上述问题，首先必须有效地存储和管理视频数据，才能为用户提供良好的下载、播放等服务，Hadoop和ffmpeg为我们提供了新的思路。　　1相关知识　　Hadoop是一种可以对海量数据进行分布式

5、处理的软件框架。Hadoop对数据的处理有可靠、高效、可伸缩的特点。HDFS是Hadoop的分布式文件系统，是Hadoop的重要组成部分。在使用的时候，HDFS既能够作为存储组件来配合Hadoop其他组件实现云功能；也可以单独的用来构建集群；通过Hadoop的HDFS，用户便能够开发分布式程序，而不用了解分布式文件系统的底层细节，充分利用集群的特点进行存储和高速运输。MapReduce是一个编程模型，也是一个处理和生成超大规模数据集的算法模型的实现[2]。map和reduce函数是其底层过程。Map函数负责读取文件分片中的数据记录，把所有的数据记录都转换成键值对

6、，并把文件分片的统计数据记录下来。Map函数生成的中间结果作为Reduce函数的输入，它会根据键以合并方式来缩小键/值对列表。7　　FFmpeg拥有领先的音/视频编码库―libavcodec，是用来转换、记录数字音频、视频，并可以将其转化成流的开源视频工具软件。Ffmpeg虽然是在Linux下开发出来的，但它能够在大部分操作系统中编译，其中就包括Windows系统，能够完成多种视频格式的相互转换，FFMPEG支持FLV，AC3，DV，DivX，MPEG，MPEG4等40多种编码，Matroska，ASF，OGG，AVI，MPEG，等90多种解码[3]。　　2总体

7、架构　　利用Hadoop平台及FFMPEG工具实现视频数据转储的架构描述如图1所示[4]：　　视频转储的流程如下：　　1）本地服务器获取源视频文件，将源视频文件分割成Chuck_1，Chuck_2，Chuck_3，Chuck_4等视频片段；　　2）将视频片段上传到HDFS；　　3）在Hadoop集群用map对视频片段进行转码生成新的视频片段Chuckm_1，Chuckm_2，Chuckm_3，Chuckm_4等；　　4）利用reduce对Chuckm_1，Chuckm_2，Chuckm_3，Chuckm_4等视频片段进行合并。　　3模块实现　　根据视频转储处理流

8、程，系统可以分为视频分割