第四十九章：zookeeper分布式协调工具

《第四十九章：zookeeper分布式协调工具》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第四十九章：zookeeper分布式协调工具一、分布式协调技术概述：二、zookeeper概述：三、zookeeper提供的功能：四、zookeeperI作角色：五、ZooKeeper搭建Hadoop的HA集群：六、案例：搭建hadoop2.7.6结合zookeeper-3.4.10完全分布式存储集群:一、分布式协调技术概述：概述：在给大家介绍ZooKeeperZ前先来给大家介绍一种技术分布式协调技术。那么什么是分布式协调技术？那么我来告诉大家，其实分布式协调技术主要用来解决分布式坏境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源

2、；图屮有三台机器，每台机器各跑一个应用程序。然后我们将这三台机器通过网络将其连接起来，构成一个系统来为用户提供服务，对用户来说这个系统的架构是非透明的，他感觉不到我这个系统是一个什么样的架构。那么我们就可以把这种系统称作一个分布式系统。那我们接下來再分析一下，在这个分布式系统中如何对进程进行调度，我假设在第一台机器上挂载了一个资源，然后这三个物理分布的进程都要竞争这个资源，但我们又不希望他们同时进行访问，这时候我们就需要一个协调器，来让他们有序的来访问这个资源；分布式系统Server1Server2Server3ApplicationProc

3、ess-02ApplicationProcess03二、zookeeper概述：概述：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如分布式同步，配置管理，集群管理，命名管理，队列管理。它被设计为易于编程，使用文件系统目录树作为数据模型。我们设计ZooKeeper的目的是为了减轻分布式应用程序所承担的协调任务ZooKeeper是集群的管理者，监视着集群屮各节点的状态，根据节点提交的反馈进行下一步合理的操作。最终，将

4、简单易用的接口和功能稳定，性能高效的系统提供给用户；GogleChubbypacheZooKeeper三、zookeeper提供的功能：1•文件系统每个子目录项如NameService都被称作为znode,和文件系统一样，我们能够自由的增加、删除znode,在一个znode下增加、删除子znode,有四种类型的znode：PERSISTENT-持久化目录节点：客户端与zookeeper断开连接后，该节点依I口存在；PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点：客户端与zookeeper断开连接后，该节点依IH存在，只是Z

5、ookeeper给该节点名称进行顺序编号；EPHEMERAL-临时目录节点：客户端与zookeeper断开连接后，该节点被删除；EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点：客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进彳亍顺序编号；2•通知机制：客户端注册监听它关心的目录节点，当H录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端；四.zookeeperZE作角色:角色:角色描述4领导者'(Leader)a领导者负责进行投票的发起和决议，更新系

6、统状态3学习看卩（Lear门即）＞跟随者(Follower)aFollower用于接收客户请求并向客户端返回结果，在选主过程中参与投票卫观察者p(Observer)，Observer可以接收客户端连接，将写请求转发给leader节点。但Observer不参加投票过程，只同步leader的状态。Observer的目的是为了扩展系统，提高读取速度客户端（Client）a请求发起方3工作流程:ZooKeeper数据検型/MasterMasterA/master-00002MasterBZooKeeper选举编号熾小的节点将任透举中获胜，获得锁成为主

7、节点五、ZooKeeper搭建Hadoop的HA集群：HA-HighAvailable高可用概述：在Hadoop2.0之前，在HDFS集群屮NameNode存在单点故障(SPOF：ASinglePointofFailure)o对于只有一个NameNode的集群，如果NameNode机器111现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用；实现原理：HDFS的HA功能通过配置Active/Standby两个NameNodes实现在集群屮对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这吋可通过此

8、种方式将NameNode很快的切换到另外一台机器；在一个典型的HDFS(HA)集群中，使用两台单独的机器配置为NameNodes。在任何时间点，确保NameNode