新一代数据库技术在双11中的黑科技

《新一代数据库技术在双11中的黑科技》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、新一代数据库技术在双11中的黑科技摘要：12月13-14日，由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束，集中为大家分享了2017双11背后的黑科技。本文是《新一代数据库技术在双11中的应用》演讲整理，本文主要从数据库上云和弹性调度开始谈起，重点分享了新一代数据库以及其在双11中的应用，包括X-DB、X-KV和ESDB等。12月13-14日，由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束，集中为大家分享了2017双11背后的黑科技。本文是《新一代数据库技术在双11中的应用》演讲整理，本文主

2、要从数据库上云和弹性调度开始谈起，重点分享了新一代数据库以及其在双11中的应用，包括X-DB、X-KV和ESDB等。内容如下。分享嘉宾：张瑞：阿里巴巴研究员，阿里集团数据库技术团队负责人，经历阿里数据库技术变革历程，连续六年作为数据库总负责人参与双11备战工作。双11是一场技术大练兵，是互联网界的超级工程。需要做到支撑尽可能高的零点峰值，给用户最好的体验；也要做到成本尽可能低，要求极致的弹性能力；还要做到整体系统的稳定。数据库如何实现极致弹性能力数据库上云数据库实现弹性是比较难的，数据库对性能要求非常高，因此，必须实现数据库上云，但是如何上云呢？数据库上云面临以

3、下几个难点：1.数据库如何上云，并快速构建混合云？2.如何降低虚拟化带来的性能损耗？3.公有云环境和内部网络的互通问题。经过几年的探索，这些难点都已得到解决。第一，高性能ECS可以和物理机性能一样，主要使用了SPDK、DPDK技术和NVMe存储，让虚拟化损耗非常小，接近物理机；第二，数据库弹性混合云问题得到解决，可以同时管理云上和云下环境，用户可以在双11前把混合云构建起来，支撑双十一峰值。数据库弹性调度只有上云是远远不够的，还要进行离在线混布。而数据库实现弹性调度的两大基础条件是容器化和计算存储分离。容器性能需要与物理机持平，存储计算分离依赖于硬件的发展，25

4、G网络和高性能分布式存储盘古让其成为可能。数据库存储计算分离架构如图，包括存储层、网络层和计算层，存储使用阿里自研分布式存储系统-盘古，数据库计算节点则部署在阿里自研容器（Pouch）中，除此以外，还有存储管控系统。为了实现存储和计算分离，我们在存储上做了许多工作，包括：二三异步：第三个副本异步完成，平均延时降低10%以上，4个9latency降低3-4倍； QoS流控：根据前台业务负载情况控制后台IO流量，保证写入性能； 快速Failover：存储集群单机FO优化为5s，达到业界领先水平； 高可用部署：单集群四Rack部署，将数据可靠性提升到10个9。 在数据

5、库方面我们也做了大量优化，最重要的是降低网络吞吐，以此来降低网络延迟对于数据库性能的影响。比如：redosync优化，吞吐提升100%；由于盘古存储支持原子写，所以我们关闭DoubleWriteBuffer，高压力下吞吐提升20%，带宽节省100%。双11数据库混布技术容器化和存储计算分离，使得数据库无状态化，具备调度能力。在双11高峰，通过将共享存储挂载到不同的计算集群（离线集群），实现数据库的快速弹性。阿里新一代数据库技术阿里最早是商业数据库，然后我们做去IOE，研发出阿里MySQL分支AliSQL和分布式中间件TDDL。2016年，我们开始思考新一代数据库

6、技术X-DB，X代表追求极限性能，挑战无限可能的含义。阿里的业务场景对于数据库有很高的要求：数据要可扩展； 持续可用、数据要强一致； 数据量大、重要程度高； 数据有明显的生命周期特性，冷热数据特点鲜明； 交易、库存，支付等业务，操作逻辑简单，要求高性能。 因此，定义新一代数据库就要包含几个重要特点：具备数据强一致、全球部署能力；内置分布式、高性能、高可用能力；具备自动数据生命周期管理能力。X-DB架构图X-DB架构如图，引入Paxos分布式一致性协议解决问题；可异地部署，虽然网络延时增加，但能够保持高性能（吞吐），在同城三节点部署模式下，性能与单机持平，同时具备

7、网络抖动的高容忍性。X-DB核心技术之一：高性能Paxos基础库X-Paxos是实现三节点能力的核心，可实现跨AZ、Region的数据强一致能力，实现5个9以上的持续可用率。X-DB核心技术之二：Batching&Pipelining。X-DB在事务提交时，必须保证日志在数据库节点的多数派收到并提交，这是保证数据强一致基础，由于事务在提交时必须需要跨网络，这一定会导致延时增加，要保证高延时下的吞吐是非常困难的。Batching&Pipelining技术保证尽可能批量提交，数据可以乱序接收和确认，最终保证日志顺序提交。可以在高延时的情况下，保持很高的吞吐能力。X-

8、DB核心技术之三：异步化