阿里CDN从自建到服务.pdf

《阿里CDN从自建到服务.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、阿里CDN从自建到服务章文嵩（正明）2014亚太全媒体CDN峰会2014.3.181自我介绍•章文嵩（正明）博士•阿里高级研究员、核心系统负责人•LVS开源项目的创始人与主要作者•曾为TelTel的首席科学家与联合创始人，国防科技大学副教授、ChinaCluster的联合创始人、RedHatKernelDeveloper或在来往中搜索wensongzhang加我议程一、双11购物狂欢节二、阿里CDN基础设施三、阿里CDN的演进四、阿里云CDN服务五、小结3双11购物狂欢节2013年11月11日5那些瞬间6那些瞬间7那些瞬间全天订单产生量：1.67亿，包裹量：1

2、.52亿个第一分钟涌入1370万独立的访客8CDN监控系统瞬间9议程一、双11购物狂欢节二、阿里CDN基础设施三、阿里CDN的演进四、阿里云CDN服务五、小结10世界上最大的图片CDN国内230多个节点，海外10个5100Gbps服务能力储备单机柜40Gbps以上服务能力，每台服务器提供5Gbps以上能力单节点可处理20多万QPS100万级别DNS调度并发处理能力高性能缓存系统•基于多线程事件驱动的架构，TCOSS存储引擎，高效的对象索引，完美Hash解析HTTPheader，Trie树优化ACL匹配，等等•在测试机（2xXeonE5-2680）上可

3、跑超过1000Kqps•在内存命中情况下，rt（服务器）在0.1ms左右•在全SSD情况下，rt在0.5ms左右；SSD+SATA混合存储情况下，swiftTCOSS文件系统的热点迁移可以保证87.5%的读都落在SSD，rt在2ms左右•miss回源同样不需要线程间切换，连接池省去建连接和慢启动的过程，7层健康检测实时更新源站的状态12智能全局调度系统Portal系统监控与运维界面调度算法调系统监控单元度流量计算单元流量表决关联度计算策关联表单元节点状态日志数据用户时延ldns-ip数调度执行单元信息采集离线数据采集据采集pharos节点信息采集前端信息采集c

4、n#1cn#21234ldns#1ldns#2CDN节点终端用户本地DNS智能调度系统关键特性•支持多维度的全局流量调度模型（成本、用户体验、带宽）•支持自动化调度，调度误差<15%，最小粒度5Mbps流量•有丰富的API接口，兼容GTM的功能•支持多级调度策略•支持edns-client-subnet•支持4/7层健康检测•单机百万QPS14议程一、双11购物狂欢节二、阿里CDN基础设施三、阿里CDN的演进四、阿里云CDN服务五、小结15淘宝CDN系统的研发•主要解决过去的问题–商用产品的性能瓶颈、功能欠缺，以及不稳定性–整个系统的规模、性能、可用性和可管理

5、性•开发完全自主的CDN系统–CDN节点的新架构和优化–CDN监控平台–全局流量调度系统支持基于节点负载状态调度和基于链路状态调度–CDN实时图片删除–CDN访问日志过滤系统–配置管理平台16CDN节点的架构对比-老架构clientVIP1VIP2NetScaler(7LB)NetScaler(7LB)频道1频道2频道…频道nsquidsquidsquid…squid17源站CDN节点的架构对比-新架构clientVIP1VIP2心跳LVS(L4)LVS(L4)Haproxy(L7)haproxy(L7)Haproxy(L7)所有频道统一调度squidsqui

6、dsquid…squid源站18CDN节点的架构对比对比项节点新架构老架构流量分布均匀性☆☆☆☆☆☆☆☆可维护性☆☆☆☆☆☆抗攻击能力☆☆☆☆☆☆☆☆自主控制能力☆☆☆☆☆☆☆☆价格☆☆☆☆☆☆☆☆扩展能力☆☆☆☆☆☆☆灵活性☆☆☆☆☆☆☆•流量分布均匀性：所有的频道统一调度到128台squid，而不是将squid按频道分组，可提高命中率2%以上•扩展能力：在一个VIP上新架构可以扩展到近100G的流量（当然要用万兆网卡）•灵活性：一致性Hash调度方法使得增加和删除服务器非常方便，只有1/(n+1)的对象需要迁移Squid改进和优化•在COSS存储系统基础

7、上实现了TCOSS，FIFO加上按一定比例保留热点对象，支持1T大小的文件•Squid内存优化，一台Squid服务器若有一千万对象，大约节省1250M内存，更多的内存可以用作memorycache•用sendfile来发送缓存在硬盘上的对象，加上pagecache，充分利用操作系统的特性•针对SSD硬盘，可以采用DIRECT_IO方式访问，将内存省给SAS/SATA硬盘做pagecache•IO优化到平均一个请求需要做约0.9个IO操作•在Squid服务器上使用SSD+SAS+SATA混合存储，实现了类似GDSF算法，图片随着热点变化而迁移20热点迁移的数据对

8、比（1）•简单按对象大小划分：小的进S