【5A版】华为FusionStorage架构分析.pptx

《【5A版】华为FusionStorage架构分析.pptx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、华为FusionStorage架构分析常涛changtao@zettakit.com基本功能接口：scsi/iscsi数据服务：快照，克隆，精简配置，分布式cache，备份（全量，增量），复制（基于volume的异步复制）存储基本功能：集群状态控制，分布式数据分布（DHT），rebuild，reblance过程控制，强一致性协议基本组件FusionStorageManager:管理模块，提供告警，监控，日志等信息。FustionStorageAgent：代理进程，实现和FusitonStorageManager的通信。MDC（metadatacluster）：集群管理，负责集群状态的

2、监控，数据分布规则，数据rebuild的过程控制。（使用zookeeper）VBS（virtualblocksystem）客户端，提供分布式块存储集群接入点服务。OSD：数据服务组件。每个磁盘对应一个OSD（类似于Ceph）关键技术：数据分布（数据路由）FusionStorage采用DHT算法需要全局保存Partitiondisk的映射表1）（LUN1，LBA）生产key2）通过key，通过计算hash值可得到Partition3）通过查找全局的partition到disk的路由表，可知具体的disk的值优点：1）保存partition到disk的映射表，可以实现负载均衡2）保存的

3、元数据比较少，可以支持的规模比较大。缺点：副本控制和分布的粒度是pool级别，volume级别的数据分布和副本的控制比较难。关键技术：Cache机制WriteCacheSSDcache，直接写SSD返回数据定期从SSD批量刷回HDD磁盘ReadCache：内存SSDreadcacheHDD磁盘Cache没有啥特别的。关键看cache缓存算法的实现优劣。关键技术：读写IO流程读操作：直接读PrimaryOSD写操作：客户端VBS发给PrimaryOSDPrimaryOSD同时发送给本地磁盘和SecondOSDPrimaryOSD等待PrimaryOSD和SecondOSD的操作都完成，

4、才向客户端应答。没啥特别设计，基本流程都一样。关键技术：快照/克隆FusionStorage采用ROW快照技术优点是写操作性能几乎不受损失读操作，特别是顺序读操作，会有影响？如果使用DHT技术，ROW快照的机制具体如何实现？Ceph的机制？快照的信息记录在每个对象的属性上Sheepdog的机制？快照的信息记录在整个volume的属性上ConsistentGroup不支持？快照的实现，应该是基于sheepdog的原理实现。ROW机制的快照还是挺不错的。关键技术：数据一致性协议/掉电保护每个IO有编号（通过编号，实现顺序处理）主OSD和备OSD所接收到的IO编号处理顺序完全一致。orde

5、redrequest实现（类似Ceph的pglog,性能是瓶颈吗？）FusitonStorage的保电介质NVDIM&PCIeSSD所有的元数据+数据都缓存在保电介质中，系统掉电重启后replay类似ceph，NVDIM或者PCIeSSD做日志（包括元数据和数据）关键技术：平滑扩容DHT技术比较容易的支持Reblance/Rebuild时的所占资源的控制（没有提到）在恢复速度和不影响前端性能之间平衡关键技术：灾备基于volume的同步复制同城双活基于故障域实现的双活。但是难以实现基于volume的同步复制基于volume的异步复制异地复制基于快照实现的全量和增量备份可基于Volume

6、的实现其它功能分布式缓存有必要吗？如果负载均衡针对热点？读热点缓存在cache中，写热点也没法分布式啊？支持InifiniBand高速网络DataScrub定时检测存储数据提前预防数据错误硬盘可靠性坏块标记磁盘亚健康检查磁盘错误检查其它缺失的功能（没有提到的功能）QoSConsistentGroupRebuild/rebalance资源控制EC的支持压缩，重删，加密