面向iptv的分布式文件系统资源定位与调度模块设计与实现

《面向iptv的分布式文件系统资源定位与调度模块设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION论文题目面向IPTV的分布式文件系统资源定位与调度模块设计与实现学科专业计算机系统结构指导教师段翰聪副教授作者姓名蒲廷志学号200820601067万方数据分类号密级UDC注1学位论文面向IPTV的分布式文件系统资源定位与调度模块设计与实现（题名和副题名）蒲廷志（作者姓名）指导教师姓名段翰聪副教授电子科技大学成都（职务、职称、学位、单位名称及地址）申请专业学位级别硕士专业名称计算机系统结构论文提交日期2011.4论文

2、答辩日期2011.5学位授予单位和日期电子科技大学答辩委员会主席评阅人2011年月日注1：注明《国际十进分类法UDC》的类号。万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有

3、关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要随着国家三网融合政策的推进，交互式网络电视(InternetProtocolTelevision,IPTV)的重要地位日益显现，同时庞大的网络用户数也给IPTV带来巨大的市场前景。传统的解决方案在处理海量数据时的不足却日益暴露，主要体现在：扩展性差，不能适应系统规模的动态变化；效率低下，用户体验度偏低；容易出

4、现单点失效问题，一个节点的故障导致整个系统服务的崩溃，这主要是集中式管理方式所造成的。本文首先对比分析了几种主流的分布式文件系统，结合国内外研究现状和发展趋势，根据IPTV应用场景，设计并实现了分层分布式文件系统，重点研究其中的资源定位模块和资源调度模块。在架构上广泛采用分布式管理方式，系统中所有功能都是由一个服务器集群负责，要么采用类似Chord的纯分布式集群管理，要么采用Chubby的集群管理方式，这些都可以避免单点故障问题。为了提高元数据的可靠性，采用缓存部署方案，即系统从底层存储服务器的磁盘上读取元数据到缓存服务器的内存中，用户访问缓存服务器而不是存储服务器，避免

5、了节点故障带来的灾难性损失，并且能够快速恢复。定位模块的设计采用改进的一致性哈希设计，通过引入位置分组和虚拟节点技术，解决了标准的一致性哈希算法无法实现负载均衡和不能体现节点的异构性的问题。定位元数据时采用动态子树方式，既便于数据的快速查询又使得节点之间的数据迁移变得非常容易，便于实现负载均衡。调度模块采用哈希十字链表组织缓存数据，除了具有哈希自身所具有的快速查询优势以外，还可以根据两种关键字进行查找。缓存老化策略采用基于回归预测的老化机制，充分利用了历史数据的变化趋势，避免了缓存污染问题和抖动现象。使用企业真实的业务数据进行测试，结果表明该算法能够提高请求命中率，减少用

6、户响应时间。关键词：分布式，哈希链表，一致性哈希，回归预测I万方数据ABSTRACTABSTRACTWiththeadvancementoftripleplay,theroleofIPTV(InternetProtocolTelevision)becomesmoreandmoreimportant,andatthesametime,thelargenumberofInternetusersbringsahugemarketprospect.Theproblemsofconventionalresolutionsforhandlingmassdatabecomeincrea

7、singlyapparent,shownindetailas:poorextensionandcannotfitthedynamicchangeofsystemscale;lowefficiencyandpooruserexperience;probablesinglepointfailurethatthewholesystemservicestopifoneserverbreaksdown,whichiscausedmainlybycentralizedmanagement.Thispaperfirstlycomparesa