分布式文件存储介绍及存储性能分析

分布式文件存储介绍及存储性能分析

ID:17907567

大小:1.41 MB

页数:27页

时间:2018-09-09

分布式文件存储介绍及存储性能分析_第1页
分布式文件存储介绍及存储性能分析_第2页
分布式文件存储介绍及存储性能分析_第3页
分布式文件存储介绍及存储性能分析_第4页
分布式文件存储介绍及存储性能分析_第5页
资源描述:

《分布式文件存储介绍及存储性能分析》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、分布式文件存储介绍及存储性能分析硬盘概念柱面,磁道扇区碟片,磁头硬盘特性容量10M~2TRpm读写iops磁盘缓存2M~64M接口:ATA(sata),SCSI(sas),光纤与其他设备比较内存,1M->0.25ms网络,1M->10ms硬盘寻道,10ms/次硬盘读写,1M->11ms硬盘损坏10万小时~100万小时RAID10RAID5,6RAID5,RAID6,RAID10RAID性能损坏后恢复速度慢文件系统元数据概念Inode,不包括文件名(64B)数据块,目录块,块列表块预读机制,buffer/cache专有存储10T的存储容量需要几百万GFS特点廉价扩展

2、方便/自动平衡No-Raid善于大文件硬盘故障常态化GFS原理GFS关键词块Chunk副本数Master节点Chunkserver节点读写GFS的徒子徒孙Moosefs,c,通用,成熟高,支持小文件Kfs,c++,有api接口,目前版本低,bug多Hdfs,javaFacebook存储RAID6+12T+XFS定期生成索引文件单一大文件,仅仅追加重新捆扎淘宝tfsTfs,专有,无目录,ext4,单进程单磁盘,小文件合并,无cache,mysql辅助,无大文件概念Tfs2.0,大文件分片存储,块设备,SSD/SAS/SATA分级存储.小的进SSD,中的放SAS,大的

3、存SATA其他国内系统Fasdtfs,专有,无中心点,实体文件,服务器卷,单进程单磁盘.Leofs,商业,通用,双master,data进程内核进行,实体文件,最近才小文件合并Fastdfs结构图MooseFS示例安装,configure–prefix=/data&&make配置,运行Master节点,mfsmasterstartChunserver节点,chunkserverstartMount节点,mfsmount–Hmfsmaster监控,pythonsbin/mfscgiserv使用,象普通目录文件一样操作mfs监控-总揽mfs监控-数据节点mfs监控-m

4、ount未来的系统Ceph,对象级,进入2.34内核Lustre,对象级Gfs2,未知性能问题-软件Mount,参数-onoatimeExt4,xfs,自己的系统单线程单磁盘模式数据合并App-cache,cache的5分钟原则异步及O_DIRECT?随机写转顺序写随机读怎么办?性能问题-SSD价格价格:15元/gvs0.7元/g性能随机IOPS:18vs1顺序IOPS:2vs1故障高(据传)权衡选择,2011年百度MySQL全面使用SSD谢谢

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。