《吴岷视频cdn分发、调度与服务的探讨》

《《吴岷视频cdn分发、调度与服务的探讨》》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、L/O/G/O视频CDN的同步、调吴岷@土豆网ContentDeliveryNetwork关注服务类似土豆网的视频文件的CDN–支持UGC内容，视频数量庞大–截至2012年8月，7000万视频主要关注三个方面：–文件同步：文件如何移动–访问调度：如何确定用户最终的访问–Web服务：webserver最终如何从把文件吐给用目录•视频CDN–用图片CDN服务视频文件可能遇到的问题–视频同步–访问调度–Web服务•土豆的做法–视频同步–访问调度视频CDN的特点•单个视频文件相对较大–下载时间比较长•带宽特点–带宽成本比较敏感–机房多，IDC商务谈判不可控–带宽质量稳定性对用户体验影响比较大•协议多

2、样性：土豆图片CDN①ClientDNS②边缘节点1LB设备③边缘服边缘服边缘服务器1务器2务器3④源站视频在图片CDN上的问题•每个机房的带宽相对总量①Client较小，且富余量小，容易DNS跑满②•②的带宽质量对于用户体边缘节点1LB设备验影响大，运营要求调度③更灵活边缘服边缘服边缘服•如果边缘节点的命中率务器1务器2务器3低，总是要回源去拿文④件，那么：源站–④的带宽被浪费视频同步•使命：–要让用户就近访问视频–删除用户不再访问的视频•两种同步的模型pull模式vspush模式边缘节点源站pull模式边缘服务器源站push模式边缘服务器源站pull模式分析•pull模式特点–同步是被动

3、的–调度不用管边缘节点存在哪些文件•优点–调度相对简单–同步文件简单•缺点push模式分析•Push模式特点–要主动同步/删除文件–调度必须知道缘节点存在哪些文件•优点–不要求边缘节点有极高的命中率–不要求回源带宽，不要求节点大小，可以带宽/机房选择灵活性大•缺点同步需要解决的问题•提高边缘节点命中率•处理增减节点/服务器的情况•处理硬件故障的情况访问调度•访问调度的目的–让用户就近访问–负载均衡视频CDN调度特点•骨干网变动对于用户体验影响大•机房容易跑满•处理边缘服务器当机的情况•需要一定的灵活性Web服务•边缘节点要提供稳定的输出–同时会有很多读和一些写入•边缘节点要提供多协议支持–H

4、TTP–HLS土豆的做法•中心控制–中心服务器知道所有文件的位置–中心服务器知道所有机房/服务器/硬盘的状态–文件同步和删除都由中心服务器控制•同步采用PUSH模式•实时调度•自行开发web服务器–优化IO土豆的同步系统•土豆视频CDN是一个分布式文件系统–没有“源站”–文件分布在所有的CDN节点上•土豆视频CDN同步采用PUSH模式–同步文件和删除文件完全由同步中央服务器控制–同步中央服务器从调度器处实时获取用户访问行为同步的下载器•就近下载•支持多点，多源下载•合并入Web服务器–优化写入大小–优化磁盘调度–读优先土豆的访问调度•调度器知道每个视频的位置•所有CDN服务器实时上报CDN服

5、务器情况：（带宽使用/机器负载/硬盘监控等）•调度器根据CDN状况和调度策略对每个请求进行调度•调度器把用户请求反馈给同步系统实时调度系统–数据视频文件分用户的请求布数据同步系统求信户请用用户IP息http://.../video.flv实时调度系统给出用户最合适的URL视频ID当前CDN的策略状态实时调度系统–实现•高峰期压力：10000+/s•实时收集每个节点的带宽，动态调度每个播放请求，实时计算，不缓存•丢弃数据库，丢弃memcached•数据横向Partition，共享内存多实例•数据、计算和策略分开实时调度系统–系统结构•数据单元负责提供调度时的数据。数据数据数据被加载到内存中，做

6、横向单元单元partition，数据量庞大；需求最稳定，重启代价大•计算单元直接接收用户端发来的调计算计算计算度请求，从数据单元获取数据，通过计算（过滤、排序）把播放链接返回给用户。计算负责，需求相对策略单元稳定；无状态，重启代价小•策略单元向计算单元提供策略，不接收用户请求，计算量很小，但逻辑相对复杂且策略多变，重启无代价Web服务•在高并发下，每个请求都提供稳定的输出•支持多协议–HTTP–HLSWeb服务•如果一台服务器的额定输出是500mbps，加上冗余系数，比如1.6，那么一台机器要能吐出800mbps•假设用户的下载速度是800kbps，那么每块硬盘需要同时服务1000个用户•很

7、不幸的是这时候还时不时要往硬盘里写•文件访问很不均匀原因分析•lighttpd是通用服务器，使用sendfile直接把文件fd和socket的fd中写入•ssize_tsendfile(intout_fd,intin_fd,off_t*offset,size_tcount);•当大量的位于不同硬盘的文件被sendfile同时发送给网络时，操作系统很难办提高单台机器的服务能力•服务器配置：2core+10sat