张松国-腾讯微博架构介绍08.pdf

《张松国-腾讯微博架构介绍08.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、腾讯微博架构介绍Sagezhang2012/81目录•架构演进•阶段一–平台化•阶段二–性能优化–微博存储–聚合计算•阶段三–有损服务–高质量运维2微博业务特点•多终端•SNS•高速发展•轻量•高质量3架构演进互联网系统如同生命体，不断生长演进功能可靠性体验安全规模效率4节奏•万物生长和运行都有节奏•大节奏–几个月到几年–基础部分最优先–先对外后对内–先抗住再优化5节奏间隔•体验：日•功能：月•结构：年6微博架构演进上线性能优化容灾建设7阶段一上线•功能实现•平台化•基本安全•基础数据统计•简单容错/无容错

2、/无容灾8微博架构应用层WebPC客户端WAP运营支撑系统ITIL接口层平台接口层运维工具帐户发表索引消息收藏话题…平台服务资料接收索引关系链热榜推荐激励BOSS系统9多终端•后PC时代来临，多终端成为趋势10多终端对架构的影响•一致性和兼容性•平台化•云计算，云存储•开发效率11平台化•一致性–一个平台，连接多个终端–服务和数据平台化–统一的接口•差异性12兼容差异性•终端具备差异性•数据层兼容—终端自定义数据•功能展现兼容•灰度试错：在一个终端试用，然后再推广13数据统计•运营的需求•产品数据•监控数据

3、14阶段二性能优化•用户体验性能优化•容错•功能建设15性能优化“响应速度是第一体验”16性能优化三步1.确立优化目标和衡量标准2.监控指标–区域–时间17性能优化技术•靠近用户的优化最关键•优化技术–Web优化–Cache–逻辑层优化18Web优化•Yahoo34条–减少请求–html、css、js代码减肥，js优化性能–css、js嵌入位置调整–Cache–不重要的页面模块异步加载、头像和图片滚屏加载–背景图片合并、压缩–压缩微博头像质量–图片预加载–多个域名–多IDC部署，内部代理–…19首屏优化•首

4、屏单独优化•对首屏进行测速•减少首屏的元素•右侧非关键元素延迟加载•Js分拆，在首屏后加载其它部分20大图预加载•用户浏览微博消息时，自动加载大图•点击缩略图，立刻可以看到大图，无等待过程•如果是无线网络，则关闭预加载21Cache•多级Cache–存储层–接口层–代理层–PHP层–浏览器•Cache靠近应用22逻辑层优化•协议合并•并行处理23数据存储优化•微博的数据存储方式–内存存储–NoSQL存储–MySQL存储–云文件系统24索引存储•内存和SSD并行写，按时间分区读。•聚合计算在内存中进行索引控制

5、层读/写读/写计算索引内存索引存储层SSD7天对新增流水和已有文件进行整理流水文件整理后文件25消息聚合计算•读扩散模式，我的主页在读的时候生成•多级并行计算，逐层向上汇总•计算和存储靠近12计算逻辑层关系链计算层关系链543计算8发表合并计算126767发表索引n接收索引发表索引1计算计算计算26阶段三容灾建设•容灾系统建设•运维快速响应•开发效率•数据挖掘27微博架构应用层WebPC客户端WAP无线客户端开放平台运营支撑系统ITIL接口层平台接口层日志系统帐户发表索引收藏话题平台服务资料接收索引运维工具

6、消息中转热榜推荐关系链消息激励…BOSS系统核心服务28高可靠性核心策略故障不可避免，关键是如何减小故障影响范围29故障原因分布网络11%硬件22%程序更新56%程序BUG11%30灰度发布•灰度发布：发布更新时，不一次全部发布。而是分几个阶段，每次只向部分用户发布。•灰度发布是减小故障影响的核心流程和最有效手段31灰度发布•时间和范围是关键，严格规定•用户范围–机器–用户–区域首次灰度二次灰度三次灰度四次灰度1台x小时地区1y小时地区2z小时全量Web发布流程32互联网高可靠系统—有损服务、生命体•分布式

7、活系统–分布式•去中心化•成员简单•独立自治•重复–活系统•分层级33早期系统每个月都会有大大小小故障前台接入点少，DC异常时，影响全量用户。一旦网络波动，质量明显下降。无容灾能力，一旦机器故障影响服务。前台页面没有柔性处理，依赖后台服务质量。34容灾•系统分为三大部分：核心服务，普通服务，外围应用•核心服务两地三IDC容灾•普通服务单IDC，容错•外围应用多IDC部署，分担用户，减小影响范围35部署结构图微博图片微博头像普通区微博素材核心区主站南方接入1(帐户，消息存储读写核心逻辑）南方南方计算平

8、台普通服务专代理1北方IDC3线代理2153M无线…开放平台主站南方接入2主站北方接入3多层容灾•多个层次具有跨IDC容灾能力网页/手机/wap/其他南方IDC1南方IDC2北方IDCMAP1MAPnMAP1MAPnDLBDLB逻辑层1逻辑层n逻辑层1逻辑层nDLBDLB接口机1接口机n接口机1接口机n配置配置server1servernserver1servern帐号(主写)帐号同步同步有损服务•功能分为：核心