大规模多媒体存储系统中数据放置与调度策略的研究

《大规模多媒体存储系统中数据放置与调度策略的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国防科学技术大学研究生院博士学位论文大规模多媒体存储系统中数据放置与调度策略的研究姓名：王俊伟申请学位级别：博士专业：计算机科学与技术指导教师：金士尧20050401固防科学技术大学研究生院学位论文摘要随JFi4,t算机技术的进步和多媒体技术的发展，大规模服务器存储系统成为当前研究的热点。在设计大规模媒体眼务器的存储系统时，需要提供巨大而可靠的存储空间和高I／0吞吐，尤其是读的I／0性能。数据分布方式是影响存储系统的陛能和相应调度策略的关键因素，因此，研究视频服务器存储系统中数据分布及其调度策略具有重要意义

2、，本文围绕这些问题开展了一些有意义的研究工作。本文首先设计了—种分布式的网络RAID系统，它采用大量的磁盘驱动器构建集群存储系统：所有分布的本地磁盘可以t}{!j中间件粘连在—起形成一个大的、具有单一1／(7)空间的存储池。它能够获得非常可观的性能和存储容量，提供高效的结点间磁盘文件共享功能和媒体服务陛能。建立在高性能PC结点集群基础上的大规模集群视频服务器是一种经济而高效的结构。其次，在分布网络RAID存储布局的基础研究之上，本文设计了—种在磁盘存储区域中将数据块与校验块分离放置(SPDB)的数据片化方式

3、，它能哆获得最大并发流数目；同时设计了一种结点级校验组(NDPG)的，酾≥数据放置方式，使整个系统能够容忍单结点和单个磁盘失效，能够以较低的存储开销获得较高的可用度。并且利用马尔可夫状态图的．DI<去-：D-t行-了存储系统的可用度，结果表明，在相同的系统配置下，NDPG相比简单RAID-5和RAlD-x的可用度改进因子(AIF)分别为99．59％和89．05％。系统扩展是满足容量和带宽增长需求的主要手段，但是扩展过程需要在整个系统中重新调整和分布数据块。本克总结了扩展算法应当遵循的三个条件：扩展算法开销小

4、；数据移动量小；扩展后存储及负载均衡。并对视频服务器上媒体文件的数据块按随机放置方式分布于各个结点rf，，暂时不考虑校验和冗余窟息的隋况下，设计了编号重组(sNR)算法，它不但可以达到快速扩展的要求，而目扩展后存储负载保持均衡。为了充分利用多磁盘的并行陛以减少请求的执行刚问，需要确定将一个I／0请求划分为多少仔请求，即并发度。通过解析的方高稻定I／O请求的最佳并发度相比其它方法具有简单，完备和高效的优点。本文根据磁盘设备数据准备时间、设备的带宽和设备的请求管理开销等因素，研究了为视频请求选择合理的并发度的问

5、题，以更好地利用多个设备的并发陛能来减少I／O请求执行时间，为数据片化提供一定的理论依据，并依此确定系统配置的规模。并对解析结果进行了充分的模拟试验。试验表明，该方法能合理的选择系统结点数和设备数、片单元大小等配置，对提高系统陛能具有指导意义。为了同时优化存储系统中请求并发和负载平衡，本文提出基于平衡超图划分的自适应数据分布策略；在此策略中设计了两个目标函数同时进行请求并发与负载_平衡的优化控制，根据一定I／0访问模式动态优化盘阵陛能。在此基础上，结合离差和熵的概念，设计了种调整负载第1页国防科学技术大学研

6、究生院学位论文平衡目标的算法。根据两种I／obenchmark合成负载进俐剿蜘式验表明，基于平衡超图划分的优化策略比传统的单曲面自适应负载平衡策略或基于超图的请求并发策略效果都肓一定优化。最后，在E述的具有单一I／0空问的集群存储系统中，在视频数据分片的放置于所有结点的所有磁盘的基础上，本文设计了—种基于服务器推(server-lxtSh)模式的BECP调度算法，该调度算法与传统的视频眼务器调度策略不同，集群服务器各个结点并发的尽力向用户端发送视劫硫数据块，而刁-用长时间缓存，明显地减少了结点问的数据通信量

7、，提高服务能力。本文从网络读取的服务过程^手，对各个环节的服务时间进行估计、化简和分析，并且进行了模拟试验分析各种数据片化指标对系绕眭能的影响。关键词：视频服务器，无服务式集群，存储，可用度，数据放置策略，数据片化，并发度，负载平衡，平衡超图划分，数据块重组，流媒体，调度策略。第11页困防科学技术人学研究生院学位论文ABSTRACTWiththerapiddevelopmentofcomputerandmultimediatechnology,theresearchonlarge-scalestorages

8、ystemisthefocusofmultimediasewerdesign．Large-scaleMediaServerrequiteshighstoragecapacityandhighI／OⅡ1mughpuLItemphasizesmuchOilreadingperformance．Dataplacementschemeisthekeypointthataffectsthesystemperformance