亿级短视频应用秒拍架构演进贾朝藤

《亿级短视频应用秒拍架构演进贾朝藤》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、亿级短视频应用秒拍的架构演进贾朝藤-秒拍架构师微博：weibo.com/touch001目录•产品及系统架构介绍•老生常谈•服务优化•上传&&播放链路•支撑业务快速响应的基石•海量日志下场景分析之痛•快速故障响应www.miaopai.com秒拍-10秒拍大片产品及系统架构•2013年8月上线，每日数亿视频播放量，数千位明星入驻，国内最大的短视频平台之一www.miaopai.com秒拍-10秒拍大片产品及系统架构www.miaopai.com秒拍-10秒拍大片老生常谈我们用什么写业务：典型后端语言和基础设施www.miaopai.com秒拍-10秒拍大片老生常谈大并发下的小问题•W

2、ebServer大量503•Mysql断连，http500过多解决方案•计数器迁移•超时设计(为什么超时不做成??)•优化表连接和子表查询•优化索引结构•数据表结构review，拆分与合并，部分字段冗余存储•全代码实现到适的组件及服务替代转换，(磨刀不误砍柴工)www.miaopai.com秒拍-10秒拍大片老生常谈大并发下的小问题•DB•DDL操作成本增大•查询性能下降•Redis•实例过少•数据分布不均•复杂查询关联影响解决方案•DB•拆库拆表•Redis•划分实例•presharding•shardind中间件，路由分片数据www.miaopai.com秒拍-10秒拍大片服务优

3、化业务逻辑•耗时在线逻辑异步离线处理、服务化•缓存治理：优化不合理缓存，复用缓存，减少不必要字段查询，降低网络传输延时•请求合并与压缩，API网关层：并行获取，降低网络延时系统&&网络调优•常规(net.core.somaxconn、net.core.netdev_max_backlog、net.ipv4.tcp_max_syn_backlog等系统参数调优)•tcp协议栈调优(initcwnd、initrwnd、tcp_nodelay&&Nagle算法调优等)服务调优•JVM•连接池•Andsoon…www.miaopai.com秒拍-10秒拍大片上传&&播放链路上传www.mia

4、opai.com秒拍-10秒拍大片上传&&播放链路播放调度www.miaopai.com秒拍-10秒拍大片上传&&播放链路•快速返回•弱业务逻辑•轻量，高效•灵活可控www.miaopai.com秒拍-10秒拍大片上传&&播放链路不可预测的黑天鹅•新浪S3服务异常•applog之前上传到S3•联通S3上传链路异常导致进程都卡住服务不可用•新浪S3内网中断•部分服务不可用•七牛宁波光纤被挖断源站•防单点：多源站(新浪S3，其他合作方)，灵活分配上传点•源备：跨源站备份播放•可用性检测：更及时的调度节点反馈•播放质量调度：根据质量服务调优www.miaopai.com秒拍-10秒拍大片上

5、传&&播放链路www.miaopai.com秒拍-10秒拍大片支撑业务快速响应的基石www.miaopai.com秒拍-10秒拍大片统一服务网关www.miaopai.com秒拍-10秒拍大片统一服务网关www.miaopai.com秒拍-10秒拍大片Push服务•采用自建+第三方合作•iOS自建支持APNs，HTTP2•HTTP2实时获取token推送成功状态www.miaopai.com秒拍-10秒拍大片Search&&MoreThanSearch•基于ElasticSearch的分布式搜索引擎•实时索引及搜索•稳定、可靠、快速扩容服务节点•性能保证•提供给业务方服务网关www.

6、miaopai.com秒拍-10秒拍大片Search&&MoreThanSearchwww.miaopai.com秒拍-10秒拍大片Search&&MoreThanSearch•基于业务场景的中间件•DB适配器•基于时间字段从DB拉取数据•支持多库，跨表•支持回调业务API•支持字段聚合形式•计数回调适配器•业务回调API•可定制字段•限频www.miaopai.com秒拍-10秒拍大片Search&&MoreThanSearch•MoreThanSearch(扩展ES应用场景)•后台审核(强大的聚合特性，满足运营人员复杂查询及聚合需求)•业务之上的聚合，聚合多库表数据www.mia

7、opai.com秒拍-10秒拍大片敏感词过滤服务•基于分词+布隆过滤器的敏感词过滤服务•高效使用内存•基于文本轻量的过滤、识别服务www.miaopai.com秒拍-10秒拍大片海量日志下场景分析之痛www.miaopai.com秒拍-10秒拍大片海量日志下场景分析之痛•传统分析之痛：•日志量太大，单日志分析太慢•日志分布在不同服务集群，不同节点，无法快速定位服务节点•上下游状态不可知，定位问题，场景分析效率太低•故障之后惊群效应，一处反馈，多个组(部门)