资源描述:
《分布式文件存储介绍及存储性能分析》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、分布式文件存储介绍及存储性能分析硬盘概念柱面,磁道扇区碟片,磁头硬盘特性容量10M~2TRpm读写iops磁盘缓存2M~64M接口:ATA(sata),SCSI(sas),光纤与其他设备比较内存,1M->0.25ms网络,1M->10ms硬盘寻道,10ms/次硬盘读写,1M->11ms硬盘损坏10万小时~100万小时RAID10RAID5,6RAID5,RAID6,RAID10RAID性能损坏后恢复速度慢文件系统元数据概念Inode,不包括文件名(64B)数据块,目录块,块列表块预读机制,buffer/cache专有存储10T的存储容量需要几百万GFS特点廉价扩展
2、方便/自动平衡No-Raid善于大文件硬盘故障常态化GFS原理GFS关键词块Chunk副本数Master节点Chunkserver节点读写GFS的徒子徒孙Moosefs,c,通用,成熟高,支持小文件Kfs,c++,有api接口,目前版本低,bug多Hdfs,javaFacebook存储RAID6+12T+XFS定期生成索引文件单一大文件,仅仅追加重新捆扎淘宝tfsTfs,专有,无目录,ext4,单进程单磁盘,小文件合并,无cache,mysql辅助,无大文件概念Tfs2.0,大文件分片存储,块设备,SSD/SAS/SATA分级存储.小的进SSD,中的放SAS,大的
3、存SATA其他国内系统Fasdtfs,专有,无中心点,实体文件,服务器卷,单进程单磁盘.Leofs,商业,通用,双master,data进程内核进行,实体文件,最近才小文件合并Fastdfs结构图MooseFS示例安装,configure–prefix=/data&&make配置,运行Master节点,mfsmasterstartChunserver节点,chunkserverstartMount节点,mfsmount–Hmfsmaster监控,pythonsbin/mfscgiserv使用,象普通目录文件一样操作mfs监控-总揽mfs监控-数据节点mfs监控-m
4、ount未来的系统Ceph,对象级,进入2.34内核Lustre,对象级Gfs2,未知性能问题-软件Mount,参数-onoatimeExt4,xfs,自己的系统单线程单磁盘模式数据合并App-cache,cache的5分钟原则异步及O_DIRECT?随机写转顺序写随机读怎么办?性能问题-SSD价格价格:15元/gvs0.7元/g性能随机IOPS:18vs1顺序IOPS:2vs1故障高(据传)权衡选择,2011年百度MySQL全面使用SSD谢谢