QQ空间后台架构优化之路

《QQ空间后台架构优化之路》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、QQ空间后台架构优化之路嘉宾：王帅讲师简介•讲师：王帅•部门：腾讯SNG社交平台部•经历：武汉大学计算机专业研究生毕业;曾在通讯行业从事了几年后台开发工作；2012年加入腾讯社交平台部，后台高级工程师，主要负责QQ空间后台的相关架构与优化工作。目录一．空间简介二．系统架构三．系统优化•动态拉取优化•提速与省流量四．容灾调度•SET部署•数据同步五．柔性可用•柔性含义•实践空间主场景：好友动态、我的空间和与我相关空间的量有多少？•月活跃用户超6亿，日活跃用户超3亿•UGC日发表量超2亿，日互动量超7亿。•照片上传单日峰值超7亿，照片总存储超200p•动态拉取峰值超10W/s，

2、空间首屏日打开量超30亿目录一．空间简介二．系统架构三．系统优化•动态拉取优化•提速与省流量四．容灾调度•SET部署•数据同步五．柔性可用•柔性含义•实践主要功能模块手机QQ手机QZONEMSF/WNS接入层UGCFEEDS说说系统相册系统好友动态计数日志系统日志系统落地动态push商城系统……..推荐…….基础数据个人资料权限关系链个性化设置FEEDS系统FEEDS（动态）系统手机/PCQZONESET_i01逻逻同SET_i02写辑客户端/PC辑读步手机/PCUGC系统写读中QZONE服服心SET_i03务务……..目录一．空间简介二．系统架构三．系统优化•动态拉取优化

3、•提速与省流量四．容灾调度•SET部署•数据同步五．柔性可用•柔性含义•实践动态拉模型FEEDS存储（KV，SSD9T）100*10w/s好友1FEED1、FEED2…..10w/s100个好友打开空拉取好拉好友好友2FEED1、FEED2…..打开空间间友列表FEEDS……..FEED1、FEED2…..好友NFEED1、FEED2…..假设每个用户平均有100个好友，每人存20条，则：访问量：100*10w/s=1000w/s流量：100*10w/s*20条/人*1kB/条=1.6Tbps业务特点：好友动态流按时间排序如何减轻对后端的压力、省流量？持续优化后时间戳(内索

4、引(内存存)）KV,450G)）只存索引,不存qq1timeqq1idx0….idxNFEEDS内容最新发表时间qq2timeqq2idx0….idxN…..time…..idx0….idxNqqNtimeqqNidx0….idxNIdx.key为key10w/s10个好友6条索引6条feeds打开空拉取好友列表、拉好友KV拉取索引间拉取时间戳FEEDS存储现按照时间戳排序，再按照索引排序，分屏拉取（6条一屏）,则访问量：10w/s*6=60w/s流量：10w/s*6条*1KB/条=4.9G提速与省流量WNS接入优化GSLB测速跑马握手包最优接入：WNS重定向二进制协议数据

5、压缩WNS重复合并gzip最小流量：gzipgzipgzipWNS空间后台提速与省流量后台业务优化：空间后台publictrunk1trunk2数据分片cell_userCRC动态0cell_titleCRCcell_conCRC空间后台cell_userDEL动态0cell_titleOK数据模块化，cell_conDATA增量更新提速与省流量图片优化：适配服务、sharpP场景像素图档X>=720大图中图浮层480==720中图Feeds单图480==720中图详情480=

6、小图Feeds多图不区分小图目录一．空间简介二．系统架构三．系统优化•动态拉取优化•提速与省流量四．容灾调度•SET部署•数据同步五．柔性可用•柔性含义•实践容灾调度容灾调度成为必须！容灾调度全网调度的痛点:链路有短容量不没底气，Cache命中板，撑不足，撑不评估慢下降住住解决方案:SET标准降级服务数据同步定期演习化容灾调度SET部署1、单SET:负载均衡、读写分离、cache、分库分表2、设定SET大小标准3、SET物理隔离，独立服i21i22务天津SET4、保证各SET是同构的5、预留bufferi11i12上海SETi01i02深圳SET容灾调度SET同步，存储/c

7、ache一致空间后台深圳I01,I02同手机/PC写步客户端/PC上海读手机/PC服服QZONE中I11,I12QZONE务务心天津I21,I22容灾调度同步中心示意图IDC2IDC1接入代理代理存储转发业务接入代理业务存储接入代理转发代理1,2IDCIDC3接入代理代理存储转发业务容灾调度定期演习压测，做到心里有底目录一．空间简介二．系统架构三．系统优化•动态拉取优化•提速与省流量四．容灾调度•SET部署•数据同步五．柔性可用•柔性含义•实践柔性可用—什么是柔性可用？柔性可用在资源有限的情况下，不要刚性的依赖某