L101-1 分布式文件系统概述.pdf

《L101-1 分布式文件系统概述.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、101－1分布式文件系统概述讲师介绍刘爱贵，博士毕业于中科院高能物理研究所主要研究方向：分布式存储、高性能计算、数据挖掘专注于存储技术的研究与开发，GlusterFS等分布式文件系统资深理论研究与实践者博客：http://blog.csdn.net/liuaigui微博：http://weibo.com/liuagEmail：aigui.liu@gmail.comQQ：9187434培训提纲分布式文件系统概念分布式文件系统发展史分布式文件系统设计目标分布式文件系统一览KFSMooseFSGFSFileStoreFastD

2、FSCephHDFSGFS2SFSIBRIXCFSPanaFSZFSBtrfsISILONPVFSStorNextAFSOrangeFSOCFS2PanasasGPFSOneFSNFSCIFSCodaExanetGFarmGirdFSCastorLustreTFSS3DFSdCacheHPSSBWFSCZSSMogileFSTerraGridGlusterfsLoongstorInterMezzoYFSpNFSSectorIvy文件系统层次单处理器单用户本地文件系统多处理器单用户本地文件系统多处理器多用户本地文件系统多处理器多用户分布式文件系

3、统什么是分布式文件系统？分布式文件系统(DistributedFileSystem)存储资源非本地直连，通过网络连接NFS,AFS，包括集群/并行文件系统集群文件系统(ClusterFileSystem)由多个服务器节点组成的DFSISLION,LoongStore,Lustre,Glusterfs,GFS,HDFS并行文件系统(ParallelFileSystem)所有客户端可以同时并发读写同一个文件支持并行应用(如MPI)GPFS,StorNext,BWFS,GFS,Lustre,Panasas关键设计目标名字空间与

4、名字解析资源可访问(协议、接口、性能)透明性(访问、位置、迁移、重定位、复制、并发、故障)开放性(标准、接口、互操作性、可移植性)可扩展性(异步、分布、复制、缓存)可用性(复制、RAID、纠删码)一致性(复制、缓存、CAP理论)安全性(实体认证、访问控制、安全传输、加密)发展简史大致分为三个发展阶段：网络文件系统(1980s)共享SAN文件系统(1990s)面向对象的并行文件系统(2000s)网络文件系统(1980s)历史背景以太网技术蓬勃发展研究重点实现网络环境下的文件共享解决client与文件服务器的交互问

5、题主要成果1981年，IBM发布第一款PC机；1982年，CMU和IBM合作，启动面向PC机资源共享的ITC（InformationTechnologyCenter）项目，研制出了著名的网络文件系统AFS；1983年，Novell发布了网络操作系统Netware；同年，Berkeley发布了支持TCP/IP的BSD4.2操作系统；At&T推出RFS网络文件系统[H.Chartock,“RFSinSunOS”,USENIXConferenceProceedings,Summer1987,281-290.]1985年，Sun发布了NF

6、S文件系统.经典文献TheITCdistributedfilesystem:principlesanddesign.ScaleandPerformanceinaDistributedFileSystemDesignandImplementationoftheSunNetworkFilesystem(NFS).共享SAN文件系统(1990s)历史背景存储系统开始独立于计算机系统快速发展存储区域网络SAN兴起研究重点解决存储系统的可扩展性面向SAN的共享文件系统主要成果IBM研制的GPFS(GeneralParallelF

7、ileSystem)目前由Redhat支持的GFS（GlobalFileSystem）经典文献GPFS:AShared-DiskFileSystemforLargeComputingClusters.面向对象并行文件系统(2000s)历史背景高速网络发展存储系统扩展性需求突破容量和性能瓶颈研究重点对象存储并发访问元数据管理主要成果PVFS,Panasas,Lustre,Ceph,GFS经典文献PVFS：ParallelVirtualFileSystemScalablePerformanceofthePanasa

8、sParallelFileSystem.LusterfilesystemCeph:AScalable,High-PerformanceDistributedFi