云存储系统需求分析范文

《云存储系统需求分析范文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、专业整理大数据存储需求管理需求l动态添加删除用户l用户容量控制l用户流量，网速控制l用户副本灵活配置性能需求l响应时间lIops指标l吞吐量指标稳定性l24小时无故障服务l大数据量情况iops指标无明显变动l大数据量下吞吐量指标无明显变化l系统负载在一定阀值下服务l监控系统完善主要是对cpu，内存，网络，io容错高可用l在无自然灾害性的真个机房出现故障的情况下24小时服务l系统奔溃后可恢复服务l容灾备份可扩展性l支持在线横向扩容l支持在线纵向扩容l节点自动感知WORD格式专业整理数据格式支持l二进制小文件l图片文件l视频文

2、件l大文件l大文件随机读l大文件随机写（不容易实现）接口l大小文件支持类posix的接口l支持rest接口（前期不一定实现）l最好能支持读写分离的锁测试l写测试l随机写测试l读测试l随机读测试l并发读写测试l上量读写测试l测试平台分布式测试平台本质是一个必行任务系统，可以有多种的实现方式，原理如下如WORD格式专业整理由控制节点发出测试开始的指令，测试机根据挂载的测试任务，进行并发测试，结束后，将结果返回给任务分发机器，经过统计，返回给测试任务控制机实现方式：l使用自动化测试框架（未使用过）l自写并行任务分发系统，进行测试

3、l利用hadoop等开源软件进行测试，入mapreduce，可以再map中进行测试任务，由reduce汇总测试结果，reduce个数设置成1整体框架灰色表示第一版本不需要实现的部分，现在需要是先的部分部署的部分主要是在分布式存储和开放服务以及上层的接口WORD格式专业整理图片应用需求l创建用户l创建命名空间，即文件夹l创建操作员，该操作员只能操作指定的用户空间l上传，下载，删除，获取图片属性，清除缓存l图片类型识别，动态转换l设置图片特有格式如http请求http：//img.fw.com/xx.jpg,可用http：//

4、img.fw.com/xx.jpg！small访问small格式的图片，small格式定义为：10*5的图片，或是其他类型，如等高，等宽等l每一个命名空间可以有不同的格式限定l实时性保证为支持如相册实现方法根据图片的特性和和应用，图片存储主要是得结构是如下WORD格式专业整理其中黑色线条表示在实现中可不必实现。例如，某张图片原图格式是jpeg，1024*768大小，在请求是的时候请求的是200*100的大小，请求图片存储时并没有需要的的大小，需要经过转换，缓存服务拿到原图，在图片处理服务处理后，将处理后的图片缓存在本地的缓

5、存中，因为这类的请求，并不是持久性的请求，比如客户页面在更改，第一版按照200宽的等宽显示，两天后，客户页面修改，将缩略图改为300等宽，这样，如果存储到图片存储中，因为前端的修改，图片请求的格式在不断的变化，如果存储起来，会浪费很多存储空间，这种变化的可能会导致存储的数十倍的浪费分布式系统分布式系统是需要的，主要是两个方面，第一是自动进行冗余备份，其次是提供动态扩容的方便，选择合适的分布式系统是比较好重要的前置机在图片存储服务，甚至大部分的文件存储服务中，读写的差异很大，读写请求的数量差异也很大，一张图片，写次数屈指可数

6、，读的次数多大千万次，读服务请求的数量也很多，读写请求的完成质量也有差异，写请求失败，数据很有可能丢失，或者造成一段时间内整体读服务不能完成。而读请求失败一次，影响却很小，可以通过其他节点，或者备份节点弥补，所以在上面的架构体系统，将读写请求分开以前置机来出来。WORD格式专业整理方案Tfs或者fastdfs这个用作用图片存储的优点是这两个系统开发意图就是为了图片存储，也为图片存储做了大量的优化，对大量小图片的支持很好，访问速度，稳定性，数据一致性保证都很好。都不需要二次开发，直接可以使用，并且提供了nginx的模块，可以

7、很容易配置http访问方式。缺点是都不支持posix类接口，实质是属于key-value类型接口在作为云端存储的时，需要在外围做大量的开发工作，维护user-namespace-pic的关系使用如kv方式存储底层是用大型的分布式文件系统，上层是用key-value存储存储文件的方式也可以对百亿级别的图片文件进行存储，但是文件需要经过切片进行存储，如果切片大小4k，常规图片的大小是20k左右，比如图片是21k，可以通过将图片文件切成4k固定的大小，分prefix+0-6的方式存入key-value存储中，并且将相应的图片数据

8、存入对应的顺序的key中，在读取图片的时候，将6个key取出，按照顺序组个数据，即可还原图片。Kv方式也可以是用bitcast方式存储文件，即图片存在文件里，kv只存储文件名到元数据的以及数据位置的索引，但是在合并时需要做额外很多的处理，比如图片的删除，需要从kv中删除，并且从数据文件中删除图片的那段数