企业大数据分析挖掘的指南

《企业大数据分析挖掘的指南》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、....企业大数据分析挖掘指南.word资料可编辑.....现如今已经进入大数据时代，各种系统、应用、活动所产生的数据浩如烟海，数据不再仅仅是企业存储的信息，而是成为可以从中获取巨大商业价值的企业战略资产。这样背景下，如何存储海量复杂的数据、从纷繁错综的数据中找到真正有价值的数据，是大数据时代企业面临的难题。数据库高可用容灾方案设计和实现高可用容灾是搭建数据库服务的一个重要考量特性，搭建高可用数据库服务需要解决诸多问题，保证最终的容灾效果。UCloud云数据库产品UDB在研发演进过程中，根据用户的需要不断完善和演进，形成了一套完善的高可用架构体系。UCloud资深存

2、储研发工程师丁顺从高可用数据库概述、典型的高可用架构分析以及高可用数据库自动化运维等角度，讲述了如何设计和运营一套完善的数据库高可用架构，保证在出现异常时能够及时恢复数据库服务。高可用数据库由一系列的数据库构成了总的系统，在任何时刻至少有一个节点可以接受客户端请求，提供数据库服务。大多数的高可用架构有一个主节点处理主要请求，还有若干备用节点，当主节点不能提供服务时，备节点成为主节点继续提供服务，这样可以保证整个系统的可用和稳定。.word资料可编辑.....业界典型的高可用架构可以划分为四种： 第一种，共享存储方案；第二种，操作系统实时数据块复制；第三种，数据库级别

3、的主从复制；第三，高可用数据库集群。每种数据同步方式可以衍生出不同的架构。·第一种，共享存储。共享存储是指若干DB服务使用同一份存储，一个主DB，其他的为备用DB，若主服务崩溃，则系统启动备用DB，成为新的主DB，继续提供服务。一般共享存储采用比较多的是SAN/NAS方案，这种方案的优点是没有数据同步的问题，缺点是对网络性能要求比较高。·第二种，操作系统实时数据块复制。 这种方案的典型场景是DRBD。如下图所示，左边数据库写入数据以后立即同步到右边的存储设备当中。如果左边数据库崩溃，系统直接将右边的数据库存储设备激活，完成数据库的容灾切换。这个方案同样有一些问题，如

4、系统只能有一个数据副本提供服务，无法实现读写分离；另外，系统崩溃后需要的容灾恢复时间较长。.word资料可编辑.....·第三种，数据库主从复制。 这种方案是较经典的数据同步模式，系统采用一个主库和多个从库，主库同步数据库日志到各个从库，从库各自回放日志。它的好处是一个主库可以连接多个从库，能很方便地实现读写分离，同时，因为每个备库都在启动当中，所以备库当中的数据基本上都是热数据，容灾切换也非常快。·第四种，数据库高可用集群。前面三种是通过复制日志的模式实现高可用，第四种方案是基于一致性算法来做数据同步。数据库提供一种多节点的一致性同步机制，然后利用该机制构建多节点

5、同步集群，这是业界近年来比较流行的高可用集群的方案。UCloud综合了原生MySQL兼容，不同版本、不同应用场的覆盖等多种因素，最终选择采用基于数据库主从复制的方式实现高可用架构，并在原架构基础上，使用双主架构、半同步复制、采用GTID等措施进行系列优化，保证数据一致性的同时，实现日志的自动寻址。自动化运维是高可用数据库当中的难点，UDB在日常例行巡检之外，也会定期做容灾演练，查看在不同场景下数据是否丢失、是否保持一致性等，同时设置记录日志、告警系统等等，以便于第一时间发现问题，并追溯问题的根源，找出最佳解决方案。.word资料可编辑.....新一代公有云分布式数据

6、库UCloudExodus公有云2.0时代，云数据库新产品不断涌现。诸如AWSAurora、阿里云PolarDB等，UCloud在采用最新软硬件和分布式技术改造传统数据库的工作中，也在思考除了分布式数据库所要求的更大和更快之外，是否还有其他更重要的用户价值？UCloud资深数据库研发工程师刘坚君，现场讲解了UCloud对于新一代公有云分布式数据库的思考与设计。刘坚君首先从1.0时代存在的问题入手，他认为1.0时代云数据库带来了三方面价值：弹性、故障救援、知识复用。但它同样面临三大难以解决的问题：容量和性能、租用成本、运营成本。到2.0时代，解决上述三个问题的思路是计

7、算和读写分离。通过计算和读写分离，将传统数据库的计算层和存储层拆开，各自独立扩展和演进。这样做的好处是：1.提供更大的容量和读写性能；2.按需扩容和付费；3.优化运营成本并降低运营风险。业界已推出的2.0云数据库（如Aurora、PolarDB等），均采用计算和存储分离的架构。UCloudExodus的产品和技术理念则更进一步：计算和存储分离后，存储层将完全复用云平台的高性能分布式存储（如UCloud.word资料可编辑.....UDisk、阿里云盘古等），而Exodus则专注于构建一款数据库内核，去适配主流公有云和私有云厂商发布的高性能分布式存储产品。Exod