开源分布式文件系统.pdf

《开源分布式文件系统.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分布式文件系统关键技术分布式文件系统Clients非本地直连通过网络连接低成本*高性能元数据服务器数据节点（MDS)现代高速网络互连技术聚合/10GE/INIFIBAND分类(1)•C/S文件系统【NFS、CIFS】–多客户端访问同一远程文件系统，文件系统本身不可扩展–架构简单但两台服务器不能同时访问修改，扩展性差，性能有限•集群文件系统•P2P文件系统•未来分类(2)•C/S文件系统•集群文件系统–文件系统可扩展；非对称架构，有元数据系统–常见三种架构管理•SAN共享存储架构（GPFS)：高性能，高成本，扩展性差•DAS直连存储架构：数据节点与数据节点混合部署；单点故障，采用副本保障可靠性／

2、可用性•并行文件系统架构：元数据管理独立；客户端直接访问存储节点数据，高性能，低成本，扩展性好•P2P文件系统•未来分类(3)•C/S文件系统•集群文件系统•P2P文件系统–文件系统可扩展；对称架构，无元数据系统–核心技术：去中心化访问•快速资源定位技术<数据文件对应块寻址时间us级>–概率路由–Chord–Pastry–Tapetry–ByzantineGroups•未来–介质(SSD/DRAM)、云、SDN元数据管理(并行架构)•集中元数据管理–元数据使用双控或者多控节点提供服务，存在单节点故障、扩展性问题•分布式元数据管理–元数据采用全互联全冗余的组网机制，全对称分布式集群设计，扩展性好

3、•无元数据管理–元数据服务使用动态子树逻辑分区执行，对变化工作负载进行动态调整、同时保留性能的位置，DC级扩展性分布式文件系统Posix文件系统互联网文件系统S3类存储系统IBMGPFSGoogleFSAmazonS3EMCIsilonHDFSOpenstackSwiftCephFSTaobaoFSOceanstoreUDSLustreTencentFSGlusterFSFacebookHaystackOCFS2Oceanstore9000CephCeph特点：1.Ceph同时支持块、文件、对象2.开源，融入Openstack体系3.多种接口：HDFS，NFS，Posix/Fuse4.动态子树

4、分割5.支持快照GPLGlusterFSGlusterFS特点：1.多种接口，同时支持文件、对象2.Nometadata，Hash定位3.支持多种数据布局方式4.兼容多种异构存储GPLGoogleFS/HDFSGoogleFS/HDFS特点：1.提供专用的私有API接口，传统业务无法运行2.互联网大数据的基础存储平台3.定位大数据场景，上层是BigTable/Hbase，MapReduce4.定位大文件，高带宽场景ApacheLustre唯一的命名空间上万节点，PB容量，100GB/S容错依靠RAIDGPLTaobaoFS高可扩展高可用高性能面向互联网服务支持海量的非结构化数据海量小文件／扁平

5、化数据组织结构/有中心节点GPLFacebookHaystack物理卷轴:100GB+一次写，多次读，有删除，无修改图片存储专有“文件系统”闭源？OpenstackSwift特点：1.提供对象接口2.弹性可伸缩3.高可用4.分布式对象存储5.大规模非结构化数据存储Apache开源分布式文件系统文件系统POSIX对象块M/R分布式适用场景社区开源协议接口接口支持控制Ceph����云云GPLGlusterFS�集群大数据量ZRESEARCHGPL�离线应用HDFS��集群大数据／社区Apache大文件Luster集群HPCCIntelGPL���OCFS2�集群RAC/集群OracleGPLTa

6、obaoFS��跨地域互联网／阿里GPL小文件Haystack跨地域互联网／Facebook？图片Swift�云云/互联网社区Apache���白蚁分布式文件系统•支持POSIX接口和语义•支持对象接口•支持快照•支持云环境部署•支持Docker等轻量虚拟化环境•支持跨数据中心部署*•高可靠，大容量，高性能，低价格•Apache商业友好协议•社区运作架构ClientMDSLB…支持事务的KV分布式数据库如蟑螂数据数据数据节点节点节点特点•并行文件系统架构•扁平化存储元数据•事务级元数据管理•用户定义复制管理•本地高速缓存优化+CDN主要流程•MetaData事务级保证接口•Data客户端双写（

7、最近的两Client个数据节点）DataMetaDataData小文件TnT3T2T1欢迎加入•社区开发微信号：18500988099