资源描述：
《平台化cdn基础架构》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、平台化CDN基础架构--ATS缓存系统赵永明引言CDN技术发展经历了10多年的推演,相当多的领域已经有稳定的方案.而随着互联网的进一步发展,越来越多的ugc内容挑战着CDN系统的健壮性,同时新的http2.0协议等新兴技术也开始挑战传统CDN的的方案.如何在新的形势下,让CDN系统健康向上发展?我们从运维的挑战为起点,介绍ATS系统方案.赵永明自我介绍●花名永豪,现就职于阿里巴巴集团技术共享平台系统部,负责CDN架构.●多年机房建设系统运维经历．目前带领一个小团队参与CDN基础软件ApacheTrafficServer的开发工作，已经有３个人成为项目PMC．●经过２年的磨练，正从一
2、个写shell的码农转变成一个写c++的大龄码农．●任何CDN相关系统问题,都很乐于跟大家探讨●个人主要技术领域：系统运维 CDN架构●参与的主要开源项目:atstsar提纲●光纤时代CDN的挑战●cache系统的维度●性能指标●成本●可用性●平台扩展性●后http1.1时代光纤时代CDN的挑战●用户带宽大:很多城市已经推行10-20M带宽●在线时间长:3G手持设备如Ipad等可以提供更长的在线能力●交互数据多:页面丰富程度更高●移动客户端流行:Adroid和IOS设备大行其道●CDN发展:容量更大,单个数据文件更大,命中率更低,业务逻辑需求增多Cache系统的维度●功能●可用性–
3、内容管理–磁盘,网络,源服务器等故障处理–流量管理–检测,统计,日志,报警数据支持●性能●可扩展性–连接管理能力–能够支持多变的用户需求–本地cache的RT–多种功能需求并存而不冲突–动态proxy延迟–扩展功能可快速开发–IO效率–核心框架和核心功能维持稳定CDN系统的性能指标●连接管理能力,并发连接数,维持长连接●QPS/CPU=?决定了CPU的效率的能力●处理复杂业务的能力:●本地cache的RT,本机(本集群)已经–Https缓存的内容响应时间(分内存和磁盘)–大文件缓存●动态proxy延迟,对TCP网络优化的–甚至部分动态内容:fastcgi,gzip等能力–混合环境表
4、现(大小文件,快慢网络●IO效率:磁盘IO与网络IO的比率,,丢包重传,超时等等)磁盘IOPS与用户QPS的比率成本总是问题,如何降低成本Capex:Opex:节点设备成本／实际计费流量节点带宽费用/实际计费流量例如:某节点建设成本是50万,设计能力1例如:某节点稳定流量大约8G,实付带宽费0G,s实际运行计费流量10G,则成本=5万用大约40万/月,则为:40万/月/8G=5/Gbps,按照3年折旧计算:则为5/(3*12)万/月/Gbps=0.14万/月/Gbps成本总是问题,成本的计算节点设备成本节点带宽费用●交换机●量大才能拿到批发价●4-7层设备实际计费流量●Cache服
5、务器●总流量=单机流量*机器数量–磁盘●单机负载能力决定单节点能力,提高单机–内存能力是降低成本关键–CPU–网卡可用性高压力下高可用性:可运维性:●单盘损坏不影响机器服务能力●内部数据可视,统计数据可定制●单机损坏不影响节点服务能力●错误日志有利于问题分析.●快速启动,快速服务能力●能够报警程序故障●能够处理客户端网络引入的各种问题●可配置,可查询,可快速调整●能够处理源端慢,宕机等引起的问题●管理可自动化平台扩展性●一个平台可以用几年?●一个平台可以hold住几个业务需求?●这个平台是开源的还是私有的?●平台发展方向是否与我们需求一致?●谁来设计(调整)核心框架?平台扩展性:C
6、ache系统的扩展方向●动态加速，回源加速,链路选择,TCP优化●动态合成技术：ESI●动态针对客户端进行压缩，以支持各种手持终端●复杂业务系统支持，如鉴权，视频点播直播●连接管理升级：websocks，SPDY●安全过滤,杀毒拦截后http/1.1时代●Ajax的大量使用,促成了框架页面静态化––有更多内容可以做cache啦●HtmlV5的普及,更多的视频等媒体展示––文件流量都变的更大啦●http/2.0是否会包括SPDY?––不管怎么样,客户端的效率都要照顾到●http/2.0是否会包括websocks?––我们需要一个双向通信的机制●http/2.0来了,服务器该咋支持呢?
7、––V0.9还在用哎,你用啥样的代码来支持?我们的选择ApacheTrafficServer简介●ApacheTrafficServer™isfast,scalableandextensibleHTTP/1.1compliantcachingproxyserver●ISP级别的高性能proxy/cache服务器●缓存效率高，响应快●支持长连接、连接复用、过滤规则、映射、甚至7层hash和负载均衡、Cluster●API很方便的支持各种环节的自由处理ApacheTraf
