乐视和小米基于openstack云计算方案

《乐视和小米基于openstack云计算方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、乐视云计算基于OpenStack的IaaS实践[日期：2015-09-22]来源：KVM虚拟化实践 作者：[字体：大 中 小]　　本文作者岳龙广，现在就职于乐视云计算有限公司，负责IaaS部门的工作。　　从开始工作就混在开源世界里，在虚拟化方面做过CloudStack/Ovirt开发，现在是做以OpenStack为基础的乐视云平台。所以对虚拟化情有独钟，也对虚拟化/云计算的未来充满了信心。　　乐视网的所有服务是跑在乐视云上的，乐视云提供所有的底层支撑，包括IaaS/PaaS/Storage/CDN等等。为了带给用户更好的体验，乐视网的服务到哪，乐视云的底层服务就会跟到哪。　　其中虚拟化

2、是必不可少的部分，它的快速提供、按需分配、资源隔离显得特别重要，但我们会遇到什么问题呢?　　今天的主要目的是分享我们在OpenStack项目中做的一部分工作，它们解决了内部的一些需求，也是实际经验，希望对大家有所启发。　　开始之前首先感谢肖总、浩宇、victor等朋友给予的大力支持，感谢群友、技术爱好者的围观。　　很荣幸有这次机会来与大家做这个分享。　　提纲：　　1.IaaSArchitecture　　2.OpenStackDeploy&QOS　　3.MultipleRegions　　4.LeTVLBaaS　　5.DEV　　乐视云计算IaaS的基本架构　　首先就是介绍一下乐视云计算基础

3、架构，再介绍OpenStack网络组件的部署，MultipleRegions是什么样子的，更方便于使用的LeTVLBaaS，最后是开发/上线流程。　　乐视云计算IaaS采用了OpenStack和Ceph的开源方案，为乐视提供了云主机、虚拟网络、云硬盘和S3对象存储。　　 　　我们采用了CephRBD作为统一存储，OpenStack使用的Cinder，后端接的是Ceph，Glance也是共享Ceph存储。　　我们同时还提供了S3对象存储，用作于CND源站，存储乐视网的视频以及客户需要分发的资源。　　S3也是全国分布式部署，用户可以就近上传，再推送到北京。　　目前乐视云OpenStack规

4、模已达900个物理节点，对象存储的数据达到数PB。　　NeutronDeployment&QOS　　 　　我们Havana版本采用了nova-network的FlatDHCP类型。　　Icehouse版本采用了Neutron，再做足调研的前提下，我们对Neutron做了大量的减法，所用服务仅为NeutronServer和OpenvSwitchAgent，控制节点部署NeutronServer(withML2plugin)，计算节点部署OpenvSwitchAgent。　　没有网络节点，因而没有用到DHCPAgent，L3agent和MetadataAgent。物理网络使用VLAN做隔离

5、。由于Region数量较多，每个region有不同的物理网络(对应ml2_conf中的physical_network字段)，可以缓解VLAN数量的限制。　　私有云环境通过ConfigDrive配置虚拟机网卡和metadata，PublicIP地址直接配在虚拟机网卡上，走物理路由器。无论是nova-network还是neutron，我们都采用了稳定可靠的网络，由于不存在网络节点的单点问题，因此集群在满足私有云的需求前提下，兼顾了可靠性、稳定性和可扩展性。　　优点：简单稳定，性能更好，这也是业务最需要的，线上业务稳定、可用性是最重要的。　　缺点：牺牲了灵活性，和物理网络的耦合度高　　为了

6、防止某个虚拟机负载过高而影响其它虚拟机或者宿主机，我们做了了CPU，Network和DiskIO的QoS，其中Cpu的QoS采用cgroup实现，虚拟机网卡的QoS通过TC实现。　　一开始我们采用了cgroup限制DiskIO，由于ceph采用了Non-host-block，故cgroup无法限制基于ceph的DiskIO,因此我们采用了qemuiothrottling。和cgroup相比，qemuiothrottling不仅仅能支持non-host-blockIO，同时限速的效果也更为出色，限速后，虚拟机的IO不会有太大抖动。　　此外，如果基于cgroup的DiskIO设置过小，会导

7、致虚拟机删除失败。原因在于qemu提交的DirectIO必须完成后才能退出，使用过小的磁盘带宽导致此动作需很长时间才能完成，导致qemu进程不能及时响应libvirt发出的SIGTERM和SIGKILL信号。　　而如果使用qemuiothrottling，则io会现在qemublocklayer中加入queue，此时qemu可以响应libvirt发出的信号而退出。　　使用qemuiothrottling需要需注意的是，当Xfs扇区大小为4k时，