基于云平台的多媒体管理技术研究

《基于云平台的多媒体管理技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于云平台的多媒体管理技术研究-->第1章绪论目前对于解决小文件云存储的研究基本上都是基于文件合并的策略，通过将大量小文件进行合并，从而减少平台的文件数目，减轻分布式文件系统用于存放文件元数据的内存压力；同时小文件合并为大文件后，能够明显提高其硬盘读写速率，节省文件存储消耗的时间。对于小文件云存储的相关研究如下：1.BoDong[1]在2012年提出针对于结构相关型文件与逻辑相关型小文件的云存储解决方案。首先针对分布式文件系统通过实验评估出其大小文件的分界线，解决了关于“多小的文件算是小”的问题定义；然后对文件的类型进行了相应的划分，将文件分为三种类型：结构相关型文件、逻辑相关型文件、独

2、立型文件；最后文章针对结构相关型与逻辑相关型文件提出了不同的文件合并相关策略，并针对不同类型的情况提出了元数据缓存策略、小文件索引缓存策略和相关文件预取策略。.......第2章相关技术简介2.1云平台技术MapReduce是Google公司于2004年为了处理海量数据的并行操作而提出的流式计算模型，它使得编程人员无需拥有分布式编程经验或编写大量的并行计算程序就可以方便的对分布式资源进行利用。它将业务逻辑处理与复杂的具体实现进行分离，开发人员可以通过调用其提供的接口实现大规模的分布式计算。当提交一个MapReduce[11]作业时通常需要处理的文件可以被分块成多个可以独立处理的map子任

3、务，由map任务以并行的方式去处理[12]。每一个map任务以键值对的方式处理输入数据，处理完的结果经常以相同的key为单位放到同一reduce上进行汇总，输入的结果也可以通过排序处理。MapReduce与HDFS相似，都是Master/Slave架构，一个是JobTracker[13]（在hdfs中为namenode），另一个是TaskTracker（在hdfs中为DataNode）。一个hadoop集群通常由一个JobTracker和多个TaskTracker组成，JobTracker用于任务调度，而TaskTracker用于执行任务[14]。实现流程图如图2-2所示：2.2小文件存

4、储技术HDFS的设计初衷是为了存储与分析平台中的静态大文件[26]，这样在存储小文件时就存在着很大的局限性。小文件问题在HDFS上的局限性主要体现在以下几个方面：1，海量的小文件将会导致NameNode耗费大量的内存用于进行文件元数据的存储，这对NameNode结点的内存要求特别高[27]；2，HDFS对文件存储的流程与寻址机制不适合存储大量的小文件；3，由于HDFS缺少对于文件的预取与缓存策略将导致它对大量小文件的读取时具有较大的延迟[28]。因为HDFS对于海量小文件存储所有的局限性，所以需要在HDFS上提高对于小文件存储的存储和读取效率[29]，主要的研究方案有以下几种：1.Had

5、oop本身也自带了一种小文件解决方案-HadoopArchive[30]。为了提高NameNode对于内存的利用率，HadoopArchive通过将合并小文件为HAR文件的策略用以减少小文件的数目，然后再将合并后的HAR文件存入DataNode结点之中[31]。但是HadoopArchive工具具有很多的不足之处。第三章基于云的多媒体管理平台架构研究.............233.1业务模块....................243.2体系框架....................253.3平台服务架构.................263.4服务流程分析...........

6、.27第四章基于Ceph的多媒体存储技术研究.............334.1Ceph小文件问题..........334.2待解决问题............344.3多媒体管理小文件优化................35第五章多媒体视频分布式转码.........525.1视频转码问题................525.2待解决问题..............525.3分布式转码优化..........53第5章多媒体视频分布式转码5.1视频转码问题随着视频业的发展，视频的编码格式，封装格式越来越多样化，码率分辨率等变得越来越大，不同格式视频之间的转码工作越来越重要。而视频转

7、码工作对计算机的性能要求很高，涉及到视频的编码、解码等一系列操作，而且视频转码对时效性要求较高，现有的普通计算机根本满足不了转码的需求。专用的转码服务器价格又太过昂贵，而且专用视频转码服务器只是在处理单个任务的时候速度比较快，一旦转码任务量变大的时候，专用视频转码服务器的处理能力也就显得不足了。因此我们需要一种价格相对低廉，可扩展性强，能满足快速转码的视频转码系统。5.2待解决问题通过对现有的视频转码构架的分析，发现存在以下问题：1