专场2：架构设计与存储管理.章文嵩：Taobao海量图片存储与CDN系统-v2-系统架构师.pdf

《专场2：架构设计与存储管理.章文嵩：Taobao海量图片存储与CDN系统-v2-系统架构师.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Taobao海量图片存储与CDN系统章文嵩（正明）淘宝核心系统部2010.8.272010系统架构师大会1议程一、系统全貌二、Taobao图片存储系统--TFS三、ImageServer与Cache四、CDN系统五、低功耗服务器平台六、经验2图片存储与CDN系统全貌GlobalLoadBalancingCacheCacheCacheCacheL1-CacheClusterClusterClusterCluster~40TCacheCacheCacheL2-CacheClusterClusterCluster~80TI

2、mageServerImageServerApplicationClusterCluster~200Servers995TUsed/StorageTFSTFSClusterCluster1800TDeployed3议程一、系统全貌二、Taobao图片存储系统--TFS三、ImageServer与Cache四、CDN系统五、低功耗服务器平台六、经验42007年之前的图片存储系统UploadServerAdminServerImageServer滨江联通备份中心SnapVault远程数据冗灾SnapMirrorSnapM

3、irrorNearStoreR200DR:A+B+C+DSnapShotSnapShotSnapShotSnapShotFAS980CFAS980CA:OnlineImageC:OnlineImageB:OnlineImageD:OnlineImage注：红框中设备是2006年的新增设备，杭州网通IDC明年还得在原有的NetApp980C/5R200存储上增加20TB左右新的硬盘容量。商用产品无法满足需求•系统需求淘宝的影响越来越大，数据的安全也更加重要数据存储量以每年二倍的速度增长（即原来的三倍）•商用存储产品

4、对小文件的存储无法优化文件数量大，网络存储设备无法支撑连接的服务器越来越多，网络连接数已经到达了网络存储设备的极限扩容成本高，10T的存储容量需要几百万￥单点，容灾和安全性无法得到很好的保证6TFS1.0•2007年6月淘宝自主开发的分布式的文件系统TFS（TaobaoFileSystem）1.0上线运行主要解决海量小文件的分布式存储集群规模：200台PCServer(146G*6SAS15KRaid5)文件数量:亿级别系统部署存储容量:140TB实际使用存储容量:50TB单台支持随机IOPS200+，流量

5、3MBps7TFS1.0的逻辑结构8TFS1.0的特性•集群由一对NameServer和多台DataServer构成•每个DataServer运行在一台普通的Linux主机上•以block文件的形式存放数据文件(一般64M一个block)•block存多份保证数据安全•利用ext3文件系统存放数据文件•磁盘raid5做数据冗余•文件名内置元数据信息，用户自己保存TFS文件名与实际文件的对照关系–使得元数据量特别小9TFS1.3•2009年6月TFS（TaobaoFileSystem）1.3上线运行•集群规模（2010

6、.8.22）440台PCServer(300G*12SAS15KRPM)+30台PCServer(600G*12SAS15KRPM)文件数量：百亿级别系统部署存储容量：1800TB当前实际存储容量：995TB单台DataServer支持随机IOPS900+，流量15MB+目前NameServer运行的物理内存是217MB（服务器使用千兆网卡）10TFS1.3的逻辑结构Application/ClientMysqlDupStorefilenamecrc,sizerefcountDatablockid,fi

7、leid/NameServerNameServerallocateHAheartbeatdataserverid(blockid,fileid)controlmessageheartbeatmessageheartbeatmessageDataServerDataServerdsp1dsp2dsp3dsp1dsp2dsp3hdahdahdahdahdahda11TFS1.3的特性•TFS1.3提供了一些重要的功能特性所有的元数据全部都内存化清理磁盘空洞容量和负载的均衡策略平滑的扩容数据安全性的冗余保证几秒

8、内完成NameServer故障自动切换容灾策略性能大幅提升12TFS的发展•TFS2.0正在开发中–大小文件的共存，大文件的分片存储–分级存储机制（SSD/SAS/SATA）的建立，针对访问特性的文件迁移…………•TFS将在9月开源，希望更多人来使用和改进TFS13议程一、系统全貌二、Taobao图片存储系统--TFS三、ImageServ