欢迎来到天天文库
浏览记录
ID:6424063
大小:1.60 MB
页数:21页
时间:2018-01-13
《乐视和小米基于openstack云计算方案》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、乐视云计算基于OpenStack的IaaS实践[日期:2015-09-22]来源:KVM虚拟化实践 作者:[字体:大 中 小] 本文作者岳龙广,现在就职于乐视云计算有限公司,负责IaaS部门的工作。 从开始工作就混在开源世界里,在虚拟化方面做过CloudStack/Ovirt开发,现在是做以OpenStack为基础的乐视云平台。所以对虚拟化情有独钟,也对虚拟化/云计算的未来充满了信心。 乐视网的所有服务是跑在乐视云上的,乐视云提供所有的底层支撑,包括IaaS/PaaS/Storage/CDN等等。为了带给用户更好的体验,乐视网的服务到哪,乐视云的底层服务就会跟到哪。 其中虚拟化
2、是必不可少的部分,它的快速提供、按需分配、资源隔离显得特别重要,但我们会遇到什么问题呢? 今天的主要目的是分享我们在OpenStack项目中做的一部分工作,它们解决了内部的一些需求,也是实际经验,希望对大家有所启发。 开始之前首先感谢肖总、浩宇、victor等朋友给予的大力支持,感谢群友、技术爱好者的围观。 很荣幸有这次机会来与大家做这个分享。 提纲: 1.IaaSArchitecture 2.OpenStackDeploy&QOS 3.MultipleRegions 4.LeTVLBaaS 5.DEV 乐视云计算IaaS的基本架构 首先就是介绍一下乐视云计算基础
3、架构,再介绍OpenStack网络组件的部署,MultipleRegions是什么样子的,更方便于使用的LeTVLBaaS,最后是开发/上线流程。 乐视云计算IaaS采用了OpenStack和Ceph的开源方案,为乐视提供了云主机、虚拟网络、云硬盘和S3对象存储。 我们采用了CephRBD作为统一存储,OpenStack使用的Cinder,后端接的是Ceph,Glance也是共享Ceph存储。 我们同时还提供了S3对象存储,用作于CND源站,存储乐视网的视频以及客户需要分发的资源。 S3也是全国分布式部署,用户可以就近上传,再推送到北京。 目前乐视云OpenStack规
4、模已达900个物理节点,对象存储的数据达到数PB。 NeutronDeployment&QOS 我们Havana版本采用了nova-network的FlatDHCP类型。 Icehouse版本采用了Neutron,再做足调研的前提下,我们对Neutron做了大量的减法,所用服务仅为NeutronServer和OpenvSwitchAgent,控制节点部署NeutronServer(withML2plugin),计算节点部署OpenvSwitchAgent。 没有网络节点,因而没有用到DHCPAgent,L3agent和MetadataAgent。物理网络使用VLAN做隔离
5、。由于Region数量较多,每个region有不同的物理网络(对应ml2_conf中的physical_network字段),可以缓解VLAN数量的限制。 私有云环境通过ConfigDrive配置虚拟机网卡和metadata,PublicIP地址直接配在虚拟机网卡上,走物理路由器。无论是nova-network还是neutron,我们都采用了稳定可靠的网络,由于不存在网络节点的单点问题,因此集群在满足私有云的需求前提下,兼顾了可靠性、稳定性和可扩展性。 优点:简单稳定,性能更好,这也是业务最需要的,线上业务稳定、可用性是最重要的。 缺点:牺牲了灵活性,和物理网络的耦合度高 为了
6、防止某个虚拟机负载过高而影响其它虚拟机或者宿主机,我们做了了CPU,Network和DiskIO的QoS,其中Cpu的QoS采用cgroup实现,虚拟机网卡的QoS通过TC实现。 一开始我们采用了cgroup限制DiskIO,由于ceph采用了Non-host-block,故cgroup无法限制基于ceph的DiskIO,因此我们采用了qemuiothrottling。和cgroup相比,qemuiothrottling不仅仅能支持non-host-blockIO,同时限速的效果也更为出色,限速后,虚拟机的IO不会有太大抖动。 此外,如果基于cgroup的DiskIO设置过小,会导
7、致虚拟机删除失败。原因在于qemu提交的DirectIO必须完成后才能退出,使用过小的磁盘带宽导致此动作需很长时间才能完成,导致qemu进程不能及时响应libvirt发出的SIGTERM和SIGKILL信号。 而如果使用qemuiothrottling,则io会现在qemublocklayer中加入queue,此时qemu可以响应libvirt发出的信号而退出。 使用qemuiothrottling需要需注意的是,当Xfs扇区大小为4k时,
此文档下载收益归作者所有