阿里云大型互联网应用架构之分发和存储实践

《阿里云大型互联网应用架构之分发和存储实践》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1月31日，阿里云课堂在北京再次开课，聚焦于“人型互联M应用架构之分发和存储”的技术和实践分享。由阿里云Web平台组研发专家姚伟斌（花名：文景）和阿里云飞天存储服务研发高级专家李文兆担任讲师。14:00点不到，架构师、工程师和实践用户已经将260人的会场挤的满满当当，最后进来的小伙伴们只好站在了后排的通道屮。现场为何如此火爆?这和议题密切相关。CDN和存储，前者是提升用户满意度，留存率和转化率的关键，后者是云计算最基础的服务之一。二者的重要性自然不言而喻。阿里云CDN技术演变之路众所周知，在国内如此错综复杂的网络环境（中国电信、联通、移动、中国教育网、铁通等）中

2、，要将源站内容分发到全国所有节点，缩短用户査看对象的延迟，提高用户访问网站的响应速度和网站的可用性，解决网络带宽小、用户访问量大、网络分布不均等问，只能依靠内容分发网络（CDN）。阿里云Web平台组研发专家姚伟斌CDN的用途：加速：如图片、css、js等，视频流媒体，动态内界，SSL、SPDY等；源站保护：如4、7层DDoS攻击防御，WAF等。CDN如此重要。以至于在®初的图片CDN应用之后，2008年淘宝已着手建立自己的CDN。多年积累下来，一线机房布局完整，技术也比较成熟。2014年3月，阿里云正式商用CDN吋，己经发展至数百节点，覆盖30多个国家，单节点1

3、0台机器拥有40Gbps吞吐能力。海外也己经有30多个节点。微博、唱吧、雪球都是CDN服务的典型用户，效果对比极为明显。2015年，姚伟斌表示：“图片CDN和阿里云CDN,逻辑配置和节点都己经共享，一切都在云上。”CDN加速原理I-MHRCDN加速原理仔细看CDN关键组件，可以分为以下儿个部分：IP库：APNIC、Maxmind等数裾源多样，通过淘宝收货的IP地址进行校正；ECS?用户可以免费调？用。调度系统：通过地域和监拧实现调度。节点缓存系统：内存、SSD、SATA三级缓存，支持各种尺寸的文件，热点实现自动迁移，访问速度快。配置系统：按需加载、更新，10万域

4、名的配置约消耗500M內存，全网分钟级别的配置？生效，髙可靠、可运维。刷新系统：Notify机制，利用cache下载，自定义hashkey,支持多副木刷新等。日志系统：支持多台FI标服务器负载均衡，10分钟左右即可将线上円志传到OSS,每天数百T的离线日志写入ODPS进行数据分析。姚伟斌还重点介绍了应用加速方案，包含TCP协议栈优化，动态内容加速（内容优化、路巾优化），视频和大文件，无线加速等。值得注意的是，CDN和安全往往密不可分。在4层和7层DDoS攻击防御时，CDN和云盾（阿里云安全服务）的配合尤为密切。姚伟斌举了一个7层攻击的案例：“日前，针对一个小站突

5、然遭受了攻击，响应约15KB，规模约15万QPS,阿里云抵挡了99.4%的攻击，节省了17G的流:W:,有效保证了用户的服务。”开放存储架构以及应用实践作为阿里云最基础的云服务之一，开放存储服务（OSS）是基于飞天平台，提供"高可用性、高可靠性，海量的对象数目，任意大小数据对象，公共服务，安全”的存储服务。李文兆在题为“幵放存储架构和应用实践”的分亨中，重点谈到了OSS的设计原则：硬件故障透明，数据的多份拷贝分布在不同机架/机房，易扩展（容量扩容，A动应对爆发式访问），各层都要考虑到安全。大型互联网应用1月31日•北:阿里云飞天存储服务研发高级专家李文兆开放存储

6、服务架构是用户请求到云盾，再到负载均衡，然后是前端的协议接入层（协议处理、访问控制、QoS）,数据访问层（分区、索引），持久存储层（持久、冗余、容错）。其中主要概念有四个：Service：OSS提供给用户虚拟存储空间，每个用户拥有一个到多个Bucket（普通用户最多10个）。Bucket：Bucket足OSS的命名空间，BucketName在整个OSS具有全局唯一性。Object：在OSS中，每个文件都是一个Object。AccessKeylD、AccessKeySecret：安全标识，为访问OSS做签名验证。具体来看：Bucket在功能方面，包含创建/修改/读

7、取/删除，ACL（私有、开放读，开放读写），防盗链，访问日志归档，异地数据容灾（如杭州、青岛、北京、香港等数据屮心都部署了OSS,在某地创建之后，部署到其他节点）等。Object在功能方面，也包含创建/修改/读取/删除，MultipartObject与断点续传，URL签名，Put与Post不同使用场景等。为了加深大家对OSS的使用感受，李文兆特别举了一个例子:手机端图片云存储的企业架构优化图一家互联网创业企业，业务是手机端阁片云存储。比如帮助用户在本地存储缩略阁，节省手机空间；提供云照片冲印等。创业之初，他们的IT架构很简单，通过阿里云的虚拟机，搭建WebApp

8、Server，最初2-3