ArchSummit北京2015-《新浪微博应对峰值压力的混合云架构实践》-陈飞

《ArchSummit北京2015-《新浪微博应对峰值压力的混合云架构实践》-陈飞》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、微博峰值应对系统DCP在混合云方面架构实践自我介绍微博平台技术经理DCP项目微博关系架构Feed高可用架构实现分享主要内容一、DCP整体介绍二、弹性集群三、弹性调度四、服务发现Part1DCP整体介绍DCP架构演进DCP容器化公有云混合云•无状态业务•弹性调度•整合离线计算•在线集群•服务发现集群•微服务化•跨云部署•多种调度实现整合DCP项目出发点•可伸缩的业务利用公有云•快速扩容•混合云调度理论能节省6•及时回收倍成本业务峰成本值应对运维标业务快准化速迭代•拉通多语言环境•享受标准化基础•发挥运维规模化优势设施红利DCP主要思路业务弹性调度基础设施支持跨云D

2、CP整体结构HadoopPHPJava...JPoolnatoMSNDroamswarmmesosyarndispatchplutoBLSLBSElasticRegistryPartitionCloudDriverxnigNPart2弹性集群扩！扩！扩！DCP基础设施弹性策略私有“云”化零为整打破差异-标准化运行环境JavaHostvolumeAppcrontabpythonjpooljavavolumeAppPhpHost-linkswarm-linkagentcrontabrsyslogpuppetfpmconsulcAdvisorscribelogtail

3、erclientELK基础环境软件版本JavaphpcAdvisor0.7.1.fixMesos0.25Swarm1.0.0Consul0.5.2DaemonWrapperDocker1.6.2RReegDocker1.3.2gisisdevicemapper-direct-lvmtrytryvv2devicemapper-loop-lvm1CentOS7.1.1503/3.10.0-229.el7.x86_64CentOS6.6/2.6.32DCP网络高可用10.86.0.110.87.0.1VPCsubnetVPCsubnet10.89.0.110.88.0.

4、1DCP安全隔离aVPC高可用问题–不怕死就怕慢慢了！怎么办？•有可能是业务慢•有可能是机器慢•有可能是网络慢死了，可自动补充：1.根据镜像新建设备2.调度系统重建业务容器监控从全网平均到单机全覆盖单机性能恶化业务容器级报警往往系能恶化是由于单机问题引起如何快速定位有问题的机器？高可用问题-公有云单机性能瓶颈单机性能问题测试CPU：sysbench--test=cpu--cpu-max-prime=10000runsysbench--test=threads--num-threads=64--thread-yields=2000--thread-locks=2r

5、un测试磁盘：fio-direct=1-iodepth=64-rw=randwrite-ioengine=libaio-bs=16k-size=10G-numjobs=1-runtime=1000-group_reporting-name=/path/testfile测试内存：mbw-q-n10256测试带宽：netperf-Hhost-lsecond-t[TCP_STREAM

6、UDP_STREAM

7、TCP_RR

8、TCP_CRR

9、UDP_RR]-slocalBufferSize-SremoteBufferSize-mlocalPackageSize-Mremot

10、ePackageSize-DTCP_NODELAY测试业务高可用问题-自由也是责任Part3弹性调度弹性调度的挑战-重型服务调度难weibo.comweibo.cnapi.weibo.com依赖关系复杂VIP跨云专线带宽是稀缺资源PHPVIP/NginxAPIAPIMotan/ConfigService微服务化，尽量在一个云上ServiceServiceService完成处理，减少穿透2/8原则，往往一个服务里MCQueueMysql只有20%的部分需要弹性，HBaseRedis...而且能解决80%问题内网服务架构微业务化-以最少的资源实现最大的弹性we

11、ibo.comweibo.cnapi.weibo.com红包飞：依赖聚合VIPLB提醒：依赖解耦PHPHongbaoPHPRPHPFeed：算法拆分缓存：本地化VIP/NginxLB数据库：仅私有云APIAPIHongbaoAPIRemindAPIMotan/ConfigServiceMotan/ConfigServiceServiceServiceServicefriendunreadFeedRPCMCQueueMysqlMCQueueHBaseRedis...Redis混合云弹性扩容方式业界：从StaticPartitioning到ElasticSha

12、ringDCP弹性调实现