章宇-ceph存储集群及其在云计算中的应用

《章宇-ceph存储集群及其在云计算中的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、章宇-Ceph存储集群及其在云计算中的应用Ceph存储集群及其在云计算中的应用章宇开场白●章宇●2002年及2007年分别于清华大学电子工程系获得工学学士及博士学位●先后工作于计算机体系结构、虚拟化、云计算领域●关于本次活动●大牛们：欢迎用力拍砖，欢迎互通有无●菜鸟们：提供参考和思路●纯属个人观点Outline●Ceph概况●Ceph技术分析●Ceph在云计算中的应用场景●小结什么是Ceph？●“Cephisaunified,distributedstoragesystemdesignedforexcellentperformance,reliabilityandscalability.”

2、——Ceph4>>●关于unified●支持对象存储●支持块存储●支持文件系统存储●关于distributed●无中心结构，理论上无规模上限●可以部署于上千台服务器组成的集群上●已知最大集群容量大于3PB（DreamHost）为何要关注Ceph？●Ceph的自身优势●先进的设计思想–无需元数据查找，客户端直接通过计算进行寻址●众多优点–Unified–Scalability–Reliability–Performance–Automation●Ceph逐渐成熟，前途看好–Inktank已经被RedHat收购Ceph的产生与发展●创始人SageWeil的博士课题●真牛人也！！●2006年在O

3、SDI会议上的论文中正式发布●采用7>/blog/ceph_infra/Outline●Ceph概况●Ceph技术分析●Ceph在云计算中的应用场景●小结Ceph的设计思想●设计Ceph时的目标应用场景●大规模的分布式的存储系统–至少能承载PB级别的数据（早于2006年提出），且无理论上限–成千上万的存储节点●“”三个变化–存储系统规模变化：规模随着数据量不断增长–存储系统中的设备变化：不断有设备损坏并被更换–存储系统中

4、的数据变化：不断有数据被写入、移动、删除Ceph的设计思想（续）●针对目标应用场景提出的预期技术特性●高可靠–已存入数据的可靠性–存入过程中的可靠性●高度自动化–自动replica–自动re-balancing–自动failuredetection–自动failurerecovery●高可扩展–规模–性能Ceph的设计思想（续）●针对预期技术特性提出的设计思路与准则●充分发挥存储设备自身的计算能力–用计算能力换取预期特性●去除所有的中心点和单点故障点●关键创新●通过计算（而非元数据查找）定位数据–“WhereshouldIstoreanobject”–“WheredidIstoreanob

5、ject”●没有全局性的对象元数据表及其服务器，并尽可能减少和简化局部的元数据及相关操作Ceph逻辑分层引自ceph>RADOS逻辑结构引自RADOS:AScalable,ReliableStorageServiceforPetabyte-scaleStorageClustersOSD逻辑结构引自//.ustack>/blog/ceph_infra/——工作原理对象寻址引自Ceph:AScalable,High-PerformanceDistributedFileSystem——工作原理数据写入可靠性引自ceph>——工作原理集群维护●由monitor集群负责整个Ceph集群中所有OSD状

6、态的记录，并形成clustermap版本号：epoch各个OSD的网络地址OSD的状态：(up,down)，(in,out)CRUSH算法信息：clusterhierarchy，placementrules●Clustermap以增量方式在各个OSD之间传递●OSD状态变化触发clustermap版本和内容的变化●在任意时刻，clustermap信息在任意一个PG内部必须一致●在全局范围内clustermap可以不一致，但在有限时间内必定收敛●Clustermap的变化将触发数据的维护操作●Replication●Recovery●集群维护自动完成，无需人工干预Ceph的技术优势●高可扩展

7、性●无中心架构，理论上的无上限扩展●各个client可以并行访问，不存在bottleneck●高可靠性●无中心架构，因此无单点故障点●数据的自动化多备份●自动错误诊断及恢复●高性能●聚合吞吐●并行访问●自动化●充分发挥OSD自身能力●可编程性●librados提供丰富的API●支持多种编程语言调用●允许在OSD上引入计算插件●统一存储解决方案●避免同时维护多个不同的存储系统集群●平台无关，易于移植●有ARM架构上的推荐部