平安王刚 - 使用Ceph构建高效的分布式存储平台.pdf

《平安王刚 - 使用Ceph构建高效的分布式存储平台.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、使用Ceph构建高效的分布式存储平台王刚平安科技目录企业存储应用领域难题为什么选择CephCeph大规模应用报告技术起源技术剖析趟坑经验分享企业存储应用领域遇到的难题海量数据存储管理难题--种类繁多块存储文件系统对象存储数据库NAS非结构化虚拟机服务调用NFSCIFS海量数据存储管理难题--种类繁多（续）架构复杂过保迁移困难支持响应慢个性化需求难实现厂商放弃维护专有硬件块存储-应用现状LVM&Device-单机块存储SAN&iSCSImapper硬盘是一个块设备，内核LVM是一种逻辑卷管理器大部分SAN使用SCSI协议检测到硬盘

2、然后在/dev/在服务器和存储设备之间下会看到/dev/sda/。传输和沟通。Device-mapper是一种支持逻辑卷管理的通用设备常见的有iSCSI，FC等。映射机制文件系统-应用难题（NAS举例）对象存储-发展趋势Gartner《HypeCycleforStorageTechnologies,2015》非结构化数据年平均增长率(60%~80%)带来的成本和管理复杂性问题；共享存储资源要求多租户和以对象为粒度的权限控制，在传统存储中难于满足；以程序直接访问存储和基于对象的权限控制、描述信息提供简化应用程序开发，为快速应

3、用开发和存储自动管理、自我修复提供基础；对象存储的主要应用方向，为其他新兴存储技术和解决方案提供后台非结构化存储方案;为什么选择Ceph做为存储核心架构超融合存储架构DBorVM应用结构或应用非结构等块存储需非架构花共数据需求求享需求HttpRBDPoxis对象存储服务块存储服务文件系统服务Ceph技术解决（超融合架构）为什么是CephX86硬件软件定义存储可伸缩性统一存储易于维护块存储领域-OpenStack2016技术白皮书对象存储领域-应用情况文件系统领域-技术分析ClientClientClient控制流数据流元数据管

4、理控制器存储服务集群MDS1ControlMONOSD1OSD2……MDS2MDS3多个MDS的数据元数据修复辅助只适合大文件存稳定性验证一致性工具储Ceph大规模实践运行情况报告平安云：金融云平台各种应用和软件服务PAAS消息队列、通知、业务能力公共大数据等服务技术能力开放服务服务开放服务(OpenAPI)（门户，计费，监控，数据库、中间件等部署，服务IAAS+身份认证等）IAAS计算、存储、网络等服务云数据中心深圳上海北京问题现状-非结构化数据挑战每天业务量上传下载流量增量（1000万+）（2000万+）（100MB+/S）

5、（1TB+）业务量深圳数据中心上海数据中心单证图片文档容量容量DATADATADATADATA性能瓶颈卷管理复杂性过保替换高昂的运维成本问题现状-存储虚拟化的紧迫需求业务爆炸式增长KVMKVMKVMKVMKVMKVM计算虚拟化……KVMKVMKVMKVMKVMKVM………………集中试存储成为瓶颈平安存储集群物理架构示意图计算虚拟化对象存储网关服务RESTAPIRESTAPIKVMKVMKVMKVMKVMKVM……RESTAPIRESTAPIKVMKVMKVMKVMKVMKVM……存储虚拟化（RADOS）…机柜1机柜2机柜3Cep

6、h技术起源Ceph孕育过程2004年SageWeil在加州大学SantaCruz分校攻读博士期间的研究课题2006年在OSDI学术会议上，Sage发表了介绍Ceph的博士论文2007年大学毕业后继续，继续进行此系统的开发2010年LinuxKernel2.6.34加入CephRBD的特性支持。2011年创立了Inktank公司以主导Ceph的开发和社区维护.（LGPL）2014年RedHat以1.75亿美元收购Inktank，加速了社区发展。2016年越来越多的资源投入到Ceph社区中……Ceph技术架构技术架构对象存储块存储文

7、件系统RADOS-MONITORMonitors：维护集群物理地图及状态。M提供分布式决策。非常小。不会存放Data。RADOS-OSDOSD(ObjectStorageDaemon)：O提供计算和存储服务能力HDDORSSD存放Data架构部署逻辑示意图遵循AmazonS3事实标准OpenStackSwiftRESTAPIRESTAPI对虚象拟VMVM存VMVM化libradoslibrados储libradoslibrados主网机关191分Mon1分布布式式719管存…理储集Mon2Mon3集977群群说明：

8、Object存储多份副本分布示例数据定位过程逻辑数据结构Pool逻辑上分为pool、placementgroup(PG)、OSD三个层次CrushPG#2PG#1PG#3OSD#1OSD#2OSD#3OSD#4此两层映射关系由OSDMap、CRUSHMap和PG