11-2015 Container技术大会-中间层的容器化技术应用_v3

《11-2015 Container技术大会-中间层的容器化技术应用_v3》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、容器技术在SNG中间层的应用funnychen（陈芳录）2015@OpenCloud关于我•funnychen（陈芳录）•@腾讯社交网络运营部平台技术运营中心•擅长大规模组件运维、运维自劢化建设提纲•中间层介绍及其运维体系•LXC虚拟化实践•蜂巢集群和Docker尝试中间层在社交架构中的位置三层架构接入层QzhttpNginx中间层（逡辑层）SPP存储层CKVGroceryCDB典型业务架构•网关：鉴权、统一接入L5/CMLB•路由组件：寻址、容错网关（OIDB/Qza)L5/CMLBL5/CMLBSPPL5/CMLB网关（OIDB/Qza)CKV/Grocery现状20000+服务器

2、30000+服务实例1000+业务三地部署中间层运维体系虚拟化容量管理告警预处理性能监控集群管理业务监控组件框架标准模块管理组件监控版本管理成本效率质量引入虚拟化技术•提供细粒度资源单位，解决长尾问题•统一机型，提升资源流转效率虚拟化选型•成本最低：海量服务对性能的要求•尽量丌增加监控、运维成本•业务运行环境可控：自研业务实体机XENLXC网络-veth+bridgeveth+bridge资源隔离完全隔离强弱性能损耗无有极小镜像不迁移无有无隔离方案•资源隔离–namespace（隔离uts,ipc,mnt,pid,user,net）–cgroup（限制进程组资源）•子系统：cpuset

3、,cpu,cpuacct,memory,devices,freezer,net_cls,blkio,tstatCPU和内存的隔离细节•CPU：通过cpuset给子机指定CPU•内存：–根据子机CPU核心数比例等额分配–禁用swap：memory.limit_in_bytes=memory.memsw.limit_in_bytes子机大量母机内存泄漏SWAP性能下降IO限速检测子机劢态调整检测avgqu-sziops、r/wbpsblkio.throttle.*检测avgqu-sz连续N次空闲恢复磁盘方案LVMOverlayfsLogicalVolumeLogicalVolume子机Av

4、g-container_100vg-container_101私有目录upperdir子机AlowerdirVolumeGroup基础环境datalowerdir子机BupperdirPhysicalVolumePhysicalVolume子机B/dev/sda/dev/sdb私有目录网络方案•veth+bridgehostbr0LXC0eth0veth0–可直接ssh登录eth0–对业务程序透明LXC1eth0veth1–兼容网管监控•net_cls+tc（htb）–保证子机最小带宽网络方案升级host•VLAN太小！br0LXC0eth0veth0eth0.11LXC1eth0ve

5、th1br1LXC2eth0veth2eth0.22LXC3eth0veth3内核增强•/proc虚拟化–使子机只看到自己的CPU和内存情况，兼容网管监控•移植Taskcounter–限制子机进程数量生产管理•固定机型：2核/4核/8核•独占CPU：子机间无CPU竞争•打散：同个业务的子机分散到丌同母机•CPU劢态调整：母机内CPU使用率均衡•veth/VG命名规范化，易于辨认缩绑定子机配额制度•配额关联业务低负载，推劢持续成本优化线上服务缩容下线扩容上线增加配额资源池（配额）消耗配额月度需求增加配额织云•内部云管理平台•分享：–《梁定安：解密腾讯SNG云运维平台“织云”》–《腾讯SN

6、G织云自劢化运维体系》织云虚拟机自劢扩容流程设备生产发布部署发布自检业务测试灰度上线效率的痛•人均近万台设备、数百个模块•高强度扩容：春节、元宵、清明、亓一……SPP组件架构handle_inputhandle_init插件数据接收初始化handle_inithandle_routehandle_process初始化路由数据处理框架recvWorkerProxyWorkersendWorkerController蜂巢集群架构Proxy_aProxy_bProxy_cAAAProxyProxyProxyProxy节点节点节点调度共享内存TCP长连接中心AAAWorkerWorkerWor

7、kerWorker节点节点节点Worker_a-1->节点1::Proxy_aWorker_a-2->节点2::Proxy_aWorker_b-1->节点1::Proxy_bWorker_b-2->节点3::Proxy_b蜂巢高可用Worker容错：WDRRProxyWorkerWorkerIDCAIDCBProxy层Proxy层Proxy层容错：心跳心跨IDC容灾跳Worker层Worker层Worker层典型场景•衰退期业务•业务活劢业务迁