飞信开放平台中的资源分配与控制策略(孙朝晖)

《飞信开放平台中的资源分配与控制策略(孙朝晖)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、飞信开放平台的资源分配与控制策略开放、动态网络分享、综合性网络服务October111飞信开放平台技术总监互联网产品首席架构师孙朝晖http//weibo.com/steadwater私人广告October112??首先希望遭到关注并通过微博交流??本人职责-?“飞信开放平台”总体技术架构设计-?飞信互联网相关产品的技术规划-?飞信技术社区建设，特别欢迎与同仁广泛交流目录??飞信开放平台的业务特点??飞信开放平台对合作伙伴OPENAPI的资源控制??飞信开放平台用户的服务资源分配??飞信开放平台缓存资源分配策略Octobe

2、r113飞信开放平台的业务特点October114??飞信开放平台是?个内容合作型的服务平台，将各种内容源聚合到飞信的Web,PC,手机，短信全客户端渠道??合作服务类型??微博类??SNS类??视频、文学、咨询等内容类??电子商务类??飞/言•开放平台合作伙伴的数据通信方式October115??飞信主动同步类型-?飞信利用第三方服务开放平台功能拉取TimeLine,并发布Feed（如新浪、腾讯微博）??飞信被动同步类型-?第三方服务调用飞信开放平台API将动态主动推送到飞信开放平台上（多数互联网合作伙伴）??双方相互同

3、步类型-?双方相互向对方推送动态（如移动微傅•，开心网）??客户端类型-?飞信以及第三方开发的PC,手机客户端，收发API据需要飞信开放平台对OPENAPI的资源分配策略October116飞信开放平台对OPENAPI的整体分配策略October117??飞信开放平台通过基于RESTFUL的OPENAPI提供数据通信接口，根据不同的限制区域和服务级别，分成不同的服务器群集七层交换集群端群服服服群同户务验群通群级务动客服试务普务高服主抓取服务群动态中心服务平台Push服务群飞信开放平台对API访问频次控制方法October1

4、18??访问频次限流+按应用、IP、和用户ID的组合限流策略??请求频次限流，限制同?IP的并发连接数，防止严多的并发-?采用Nginxlimittrafficratemodule-?limit_zoneone$binary_remote_addr10m;??针亦不同应用类型的崗定纽合资源限制策略E信开放平台对API访问频次控制方法October119??限流策略-?试验区应用全部采用每应用、每小时单?频次限制策略-?客户端服务器集群全部采用每用户ID,每小时单?频次限制策略-?对于中等规模应用（主要针对普通服务集群的We

5、b应用），采用每IP（ServerIP）频次限制，同时每应用访问总频度设置上限-?对于大规模应用（主要针对VIP服务区的Web应用），采用用户频次限制，同时每ServerIP设置上限-?正在开发当中有每ServerIP+ClientIP频次限制,（主要应对匿名访问需求）E信开放平台对OPENAPI频度控制的技术策略October1110??总体策略：-?控制精确度让位于服务响应时间和服务器资源开销-?不同区域根据访问量和控制要求设计不同的控制方法??试验区：控制精度优先-?同步控制：先检查修改计数，然后响应请求-?在Red

6、is中采用INCRBY进行修改，定期刷新DB??普通区-?异步控制：首先检查，返冋响应，同时异步修改计数October1111??对于VIP区域的完整界步频度控制体系飞信开放平台对OPENAPI频度控制的技术策略WebServerAPIServer客户端1:请求API频度技术状态2：检查3：响应频次计数服务4：增加技术进程内计数缓冲5：更新频度状活久化7：定期刷新DB记录日志Redis缓存6：批量用户访问计数飞信开放平台对应用服务器资源分配策略October1112E信开放平台对TFeed处理计算资源分配October11

7、13用户通过Web或者OPENAPI发布发布队列发布处理进程（Feed内容写入）本站分发队列抓取进外站发布处理动态分发对外站Push进外站分发队列动态分发进程动态分发进程0信开放平台对于Feed处理计算资源分配October1114??Feed的发布与好友Timeline的分发，通过多队列计算进程进行处理，队列按处理优先级分布为-?本站发布队列（本站用户的发布内容记录以及写入Timeline）-?木站分发队列（向本站好友分发Feed）-?外站Push队列（将Feed发布到绑定的服务）-?外站Feed发布与分发队列（每服务?

8、个或者多个任务处理队列，用于来自合作伙伴的Feed转换分发）E信开放平台对于Feed处理计算资源分配October1115??Feed发布与分发进程-?发布进程优先，优先完成内容写入-?分发只处理Timeline,Timeline索引存储按照时间分片-?优先本站内容分发??与合作伙伴同步的进程进程的资源