高性能集群流媒体服务器系统结构及存储系统研究

《高性能集群流媒体服务器系统结构及存储系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学博士学位论文高性能集群流媒体服务器系统结构及存储系统研究姓名：吴松申请学位级别：博士专业：计算机系统结构指导教师：金海2002.11.11华中科技大学博士学位论文摘要{／信息技术的进步和人们对各种信息服务的需求促使了流媒体技术的诞生和发展。～流媒体技术已广泛用于视频点播、电子商务、远程教育、远程医疗、实时视频会议等互联网信息服务的方方面面，它将为网络信息交流带来革命性的变化，对人们的工作和生活产生深远影响。流媒体应用具有数据量大、带宽要求高、实时性强等特点，因此它对流媒体服务器的性能具有很

2、高要求。高性能流媒体服务器的系统结构可以分为两大类：采用专用硬件以及多处理型的服务器结构都有明显缺点。由于存在大量内部数据传输，代理存储结构的集群流媒体服务器系统效率不高：直接存储结构的集群流媒体服务器提高了系统性能，但是却面l临着服务不透明和依赖具体网络环境的问题。本文提出了一种新颖的流媒体服务器系统结构——wanI，aIl集群流媒体服务器。它采用具有自主特性的附网存储系统和直接传输方式，提高了服务器的数据传输效率，增强了系统性能。这种结构使用独特的单一系统映像机制，保证了流媒体服务对用户的透明性，

3、加强了服务器的网络安全特性，对各种网络环境有良好的适应能力。这种新型结构通过多层次的容错机制实现了服务器的高可用性，保障了流媒体服务质量。它还具有惊人的高扩展能力。离性能集群流媒体服务器的研究设计必须要考虑流媒体文件的访问倾斜特性。f在流媒体服务中，由用户访问模式造成的访问倾斜性可以分为两种。大量用户对热点文件的频繁访问造成了文件之间的访问倾斜性，而对文件热点部分的频繁访问则导致了文件内部的访问倾斜性。流媒体文件的访问倾斜特性对流媒体服务器性能有重要影响。为了避免流媒体文件之间的访问倾斜性造成的负面影

4、响，集群流媒体服务器采用数据分块方法存放流媒体文件；但是，由于文件内部访问倾斜性的存在，传统的数据分块方法可能导致服务器负载不均，从而降低服务器性能V本文提出了一种新型的数据分块放置方法——对称分块放置策略。它对流媒体服务具有很好的适应性，能够有效解决流媒体文件访问倾斜性导致的服务器负载不均问题，提高服务器系统性能。与其它负载均衡策略相比，对称分块放置策略具有系统开销小、简便实用、负载均衡性能优异的特点，尤其适用于大规模集群流媒体服务器。华中科技大学博士学位论文随着高性能流媒体服务器规模的扩大，系统出

5、错的可能性也在不断增加。由于结构上的优势，集群流媒体服务器能够很轻松地支持节点级的数据容错，提供具有高可用性的流媒体服务。数据校验和数据复制是实现数据容错的两类主要方法，前者的冗余数据较少，后者通过增加冗余数据量提高系统性能。由于流媒体服务是IJO密集型应用，同时磁盘容量的增长速度远快于磁盘I／O性能的提高速度，所以数据复制容错更适合流媒体服务器。绝大多数的传统数据复制容错策略都是针对用户随机访问模式，在具有顺序访问模式的流媒体应用中性能并不理想。本文在对称分块放置策略的基础上提出了三种复制容错策略，

6、它们能够同时适应用户随机访问模式和顺序访问模式。其中，镜像对称分块策略强调系统高可用性；转移对称分块策略强调容错状态下的系统服务能力；链式对称分块策略则具有前两者的折衷性能。r”、一一缓存管理对提高流媒体服务器的性能有重要作用。传统的磁盘缓存管理都是单纯从提高缓存命中率的角度出发，因此不适合流媒体服务；间隔缓存管理策略能够满足流媒体服务的持续性和实时性要求，是流媒体服务器缓存管理方案的首选。本文提出了混合型抢占式间隔缓存管理策略，研究结果表明它能够获得比原有间隔缓存管理策略更好的性能和对异构环境更强的

7、适应能力，非常适合流媒体应用。x／’√、／，t／’／关键词：流媒体，服务器系统结构，负载均衡，容错，集群，存储系统，数据分块，缓存管理／厂oII华中科技大学博士学位论文：：：：====#====================；=========一AbstractWithdevelopmentoftechnologiesandgrowingdemandsforinformationservices，streamingmediaisbecomingmoreandmorepopular．Ithasbeen

8、appliedinvariousapplicationssuchasvideo—on—demand，remoteeducation，e-commerceandinteractivevideoconference．Streamingmediabringsessentialchangestonetworkcommunicationandhasveryimportantinfluenceonpeople’Slifestyles．Duetoitsmassived