毕业论文-有关mfs分布式文件系统设计

《毕业论文-有关mfs分布式文件系统设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊毕业设计（论文）报告纸摘要当前互联网高速发展，在互联网的众多应用中，视频网站是其中主要应之一。视频文件中央存储是视频网站的视频总库，拥有该视频网站的所有视频文件。以前的存储系统是san+nas的方式，特点是需要的厂家支持，要用专业的网络设备，专业的人才稀少，设备成本高昂。1TB的存储空间的成本要5000，而现在互联网海量的视屏文件，上EB的存储空间，其主要的收入来自于广告，而版权，带宽是其主要的支出，加上运营，损耗，传统的存储方式成本实在

2、太高，无法使用，于是需要使用低成本，高性能的解决方案。由于科学技术的不断的发展，硬件成本不断的降低，大容量硬盘已经价格低廉，而传统的存储价格没有降低，于是有了利用硬盘价格便宜，用本地磁盘当存储的分布式存储的解决方案，来应对现在的形式。由于中央存储是视频网站后端管理系统视频下发与分发的一个环节，性能要求主要来自于视频网站新视频下发与分发的环节。以每天发布50部视频，每部视频1G为例，要求中央存储写性能20MB/s，以视频网站流媒体节点6的为例，同时读的性能要120MB/s。稳定性要求是不会因为大流量而宕机。冗余要求每

3、个数据文件至少要有2份拷贝。易用性要求当系统发生故障时能快速的恢复，当存储空间不足时，能够快速的扩容。共Ⅲ页第II页┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊毕业设计（论文）报告纸目录1绪论11.1可靠性11.1.1可靠度的重要性11.1.2可信性基准程序法11.2故障注入21.2.1故障注入实现方法综述21.2.2软件实现的故障注入方法22方案综述32.1课题思路32.2模拟方法选择32.2.1故障、错误、失效概念32.2.2故障参数选择33软件模拟方案生成43.1故障、错误分

4、类法及传播模型43.1.1ODC故障、错误分类43.1.2ODC分类下的数据43.1.3故障传播模型43.2错误、故障细化分析和模拟43.2.1错误类型分析43.2.2故障分析基础43.2.3赋值故障分析和模拟43.2.4控制故障分析和模拟43.2.5算法故障分析和模拟53.2.6时间/序列故障分析和模拟53.2.7接口故障分析和模拟53.2.8功能故障分析53.3软件故障模拟方案54硬件模拟方案生成64.1电气级硬件故障64.2硬件故障的表征及模拟方案64.2.1处理器硬件故障分析和模拟64.2.2地址总线硬件故

5、障分析和模拟64.2.3内存和数据总线硬件故障分析和模拟64.3硬件故障模拟方案65结论8参考文献9附录10谢辞11共Ⅲ页第II页┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊毕业设计（论文）报告纸1分布式文件系统moosefs由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群部署（即lvs+keepalived的方式），但仍然有用户反馈访问慢的问题。通过排查各服务器的情况，发现问题的根源在于共享存储服务器NFS。在我这个网络环境里，多个服务器通过nfs方式共享一个

6、服务器的存储空间，使得NFS服务器不堪重负。察看系统日志，全是nfs服务超时之类的报错。一般情况下，当nfs客户端数目较小的时候，NFS性能不会出现问题；一旦NFS服务器数目过多，并且是那种读写都比较频繁的操作，所得到的结果就不是我们所期待的。图8-1为某个集群使用nfs共享的情形：图1-1多个应用共享nfs文件系统这种架构除了性能问题而外，还存在单点故障，一旦这个NFS服务器发生故障，所有靠共享提供数据的应用就不再可用。尽管用rsync方式同步数据到另外一个服务器上做nfs服务的备份，但这对提高整个系统的性能毫无

7、帮助。基于这样一种需求，我们需要对nfs服务器进行优化或采取别的解决方案。然而优化并不能对应对日益增多的客户端的性能要求，因此唯一的选择只能是采取别的解决方案了。通过调研，分布式文件系统是一个比较合适的选择。采用分布式文件系统后，服务器之间的数据访问不再是一对多的关系（1个NFS服务器，多个NFS客户端），而是多对多的关系，这样一来，性能大幅提升毫无问题。1.1关于moosefs共11页第24页┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊毕业设计（论文）报告纸到目前为止，有数十种以

8、上的分布式文件系统解决方案可供选择，如lustre,hadoop,Pnfs等等。我尝试了PVFS,hadoop,moosefs这三种应用，参看了lustre、KFS等诸多技术实施方法，最后我选择了moosefs（以下简称MFS）这种分布式文件系统来作为我的共享存储服务器。为什么要选它呢？我来说说我的一些看法：1、实施起来简单。MFS的安装、部署、配置相对于其